FlexAI 选用指南:离线吞吐更高,能说明交互等待更短吗?
FlexBench 把流式与离线负载分开。先分清你的瓶颈是首段等待,还是整批完工时间。
如果基础设施团队正在比较几种开源语言模型的推理方案,先别把供应商榜单上的吞吐当成互动速度。FlexAI 的工程文章在 2026 年 3 月说明了开源 FlexBench 的两个负载模式:服务端流式模式让请求随时间到达,离线模式则一次提交所有请求。它记录首个词元的等待时间(TTFT)、吞吐和延迟分位数;文中结果来自特定模型、数据和硬件组合,不是 FlexAI 托管服务的承诺。
先写哪条限制不能破
用两张完全虚构的测评卡。甲的流式 p95 首词元等待 1.8 秒,离线 120 个请求每分钟;乙分别是 0.9 秒和 80 个请求每分钟。互动工位的上限若是 1.2 秒,就先剔除甲;只跑夜间批处理、最低要求是每分钟 100 个请求,就先剔除乙。p95 不是平均数:用同样的样本口径,从慢的一侧看尾部等待。吞吐比较也要用业务同一种单位,不能把每秒输出词元数直接当每分钟完成的请求数。两张卡只是纸面验收,不是产品实测。
在筛选表上固定模型与版本、样本、输入输出长度和请求到达方式,再检查结果能否追溯到硬件与软件组合。成本也用相同边界核对:例如每一批合格结果需要承担多少费用,而不是把一方的单价与另一方的整批费用相比。若卡片缺失任一关键条件,就标为不可比,不据此迁移。
什么情况下不用这套基准
同一模型和单一环境已经能满足低负载需求时,用既有报表核对尾部等待即可。只有对照多套软硬件、或互动与批处理给出相反结论时,才值得引入更严格的两组基准。若决策卡在数据驻留、私有部署或日志权限,先拿独立合同和技术证据核对;基准分数回答不了这些问题。
内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。
原文出处:flex.ai