FlexAI 選用指南:離線吞吐較高,能說明互動等得較短嗎?

FlexBench 將串流和離線負載分開。先分清楚卡在第一段回應,還是整批處理時間。

來源: flex.ai
November 1, 2026
1 min

比較開源語言模型的推論基礎設施時,不要把供應商排行榜的吞吐當成互動速度。FlexAI 的工程文章在 2026 年 3 月說明其開源 FlexBench:串流伺服模式讓請求隨時間抵達,離線模式則一次提交所有請求。它記錄首個詞元等待(TTFT)、吞吐和延遲百分位數。文中的實驗結果源自特定模型、資料和硬體,不是 FlexAI 代管服務的效能承諾。

先寫下不可超出的限制

兩張虛構卡:甲的串流 p95 首詞元等待 1.8 秒、離線每分鐘 120 個請求;乙分別為 0.9 秒和每分鐘 80 個。互動上限若為 1.2 秒,先剔除甲;夜間批次若至少要每分鐘 100 個請求,先剔除乙。p95 不是平均值,要用一致的樣本定義看較慢的一端。吞吐也要用一致單位,不能把每秒輸出詞元當每分鐘完成請求數。兩卡是紙上驗收,不是實測。

在篩選表先固定模型與版本、樣本、輸出入長度和請求抵達方式,再查能否追溯到硬體與軟體組合。成本也以同樣的範圍比較,例如每批合格結果的費用,而不是把一方單價與另一方整批費用相比。若缺少關鍵條件,標為不可比,不據此遷移。

何時不用這套基準

同一模型和環境已能滿足低負載,用既有報表核對尾端等待即可。要比多套軟硬體,或互動與批次有相反結論時,才值得用更嚴格的雙負載基準。若卡在資料落地、私有部署或記錄權限,先索取個別合約與技術證據;基準分數答不了這些問題。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:flex.ai