FlexAI 選定ガイド:オフラインの処理量が多いと対話の待ち時間も短いのか

FlexBenchはストリーミングとオフラインを分けます。最初の応答を待つ時間と、バッチ終了までの時間を区別します。

ソース: flex.ai
2026年11月1日
3 min

オープンな言語モデルの推論基盤を比較する際、供給元のランキングの処理量を対話の速さと見なさないでください。FlexAIの2026年3月の技術記事は同社のオープンソースFlexBenchを説明しています。ストリーミングのサーバーモードではリクエストが時間をおいて到着し、オフラインでは一度に送られます。最初のトークンまでの時間(TTFT)、処理量、遅延パーセンタイルを記録します。掲載された実験値は特定モデル、データ、ハードウェアに限られ、FlexAIのホスティングが保証する性能値ではありません。

先に譲れない条件を書く

架空の評価票を2枚用意します。甲のストリーミングp95の初回トークン待ちは1.8秒、オフライン処理量は毎分120件。乙は0.9秒、毎分80件です。対話用の上限が1.2秒なら甲を外し、夜間バッチで最低毎分100件なら乙を外します。p95は平均ではありません。同じ母集団の定義で遅い側を見ます。毎秒の出力トークン数と毎分の完了リクエスト数も同一視しません。いずれも紙上の例で実測ではありません。

比較表でモデルとバージョン、サンプル、入出力長、到着パターンを固定し、測定に使ったハードウェアとソフトウェアをたどれるか確認します。費用も同じ範囲で比較し、例えば合格した1バッチあたりの額を使い、片方の単価ともう片方の一括料金を比べないようにします。重要項目が欠ければ比較不可とし、それを根拠に移行しません。

このベンチマークが不要な場合

単一のモデルと環境で低頻度の負荷をすでに満たす場合は、既存の報告の遅い側を確認すれば十分です。複数の構成を比べるとき、対話とバッチで結論が逆になるときには、2つの負荷で厳密な比較を行う意味があります。データ保管場所、専用環境、ログの閲覧権限が決め手なら、別途契約と技術資料を確かめます。スコアでは答えられません。

内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。

元の出典:flex.ai