FlexAI-Auswahlhilfe: Bedeutet mehr Offline-Durchsatz kürzere interaktive Wartezeit?

FlexBench trennt Streaming- und Offline-Last. Prüfen Sie, ob der erste Antwortteil oder die Dauer des gesamten Stapels der Engpass ist.

Quelle: flex.ai
November 1, 2026
2 min

Beim Vergleich von Inferenz-Infrastruktur für offene Sprachmodelle ist Durchsatz in einer Anbieterrangliste kein Maß für interaktive Geschwindigkeit. Ein Technikartikel vom März 2026 von FlexAI beschreibt das eigene Open-Source-Projekt FlexBench. Im Streaming-Servermodus kommen Anfragen zeitlich verteilt an, offline werden alle auf einmal eingereicht. Erfasst werden Zeit bis zum ersten Token (TTFT), Durchsatz und Latenzperzentile. Die Laborwerte des Artikels gelten für bestimmte Modelle, Daten und Hardware; sie sind keine Leistungszusage für FlexAI-Hosting.

Zuerst die nicht verhandelbare Grenze festlegen

Zwei fiktive Karten: A zeigt im Streaming 1,8 Sekunden p95 bis zum ersten Token und offline 120 Anfragen pro Minute; B zeigt 0,9 Sekunden und 80. Liegt das interaktive Limit bei 1,2 Sekunden, scheidet A aus. Bei Nachtverarbeitung mit mindestens 100 Anfragen pro Minute scheidet B aus. P95 ist kein Mittelwert: Verwenden Sie die gleiche Stichprobendefinition und betrachten Sie langsame Fälle. Ausgabetoken pro Sekunde sind außerdem nicht abgeschlossene Anfragen pro Minute. Die Karten sind eine Papierprobe, keine Messungen.

Halten Sie Modell und Version, Stichproben, Ein- und Ausgabelängen sowie das Ankunftsmuster konstant und prüfen Sie, ob Hardware und Software nachvollziehbar sind. Vergleichen Sie Kosten mit derselben Abgrenzung, etwa pro bestandenem Stapel statt Einzelpreis eines Anbieters gegen Gesamtkosten des anderen. Fehlt eine entscheidende Angabe, markieren Sie die Karten als nicht vergleichbar und wechseln Sie daraufhin nicht.

Wann man dieses Verfahren nicht braucht

Wenn ein Modell in einer Umgebung bei geringer Last ausreicht, reichen vorhandene Berichte zur Prüfung langsamer Fälle. Zwei strengere Lastprofile lohnen sich eher bei mehreren Stacks oder wenn interaktive und Stapelverarbeitung zu gegensätzlichen Entscheidungen führen. Wenn Datenstandort, private Bereitstellung oder Log-Zugriff ausschlaggebend sind, prüfen Sie gesonderte vertragliche und technische Nachweise; Benchmarkwerte beantworten diese Fragen nicht.

Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.

Originalquelle:flex.ai