Choisir FlexAI : un meilleur débit hors ligne réduit-il l’attente interactive ?

FlexBench sépare les charges en streaming et hors ligne. Distinguez l’attente du premier résultat du temps nécessaire pour finir un lot.

Source: flex.ai
1 novembre 2026
2 min

Pour comparer des infrastructures d’inférence de modèles de langage ouverts, ne lisez pas le débit d’un classement fournisseur comme une vitesse interactive. Dans un article technique de mars 2026, FlexAI décrit son projet ouvert FlexBench. En mode serveur avec streaming, les requêtes arrivent au fil du temps ; hors ligne, elles partent toutes à la fois. FlexBench relève le délai du premier jeton (TTFT), le débit et les percentiles de latence. Les résultats de laboratoire correspondent à des modèles, données et matériels précis, pas à une promesse d’hébergement FlexAI.

Commencez par la contrainte intangible

Sur deux fiches fictives, A affiche un p95 de 1,8 seconde au premier jeton en streaming et 120 requêtes par minute hors ligne. B donne 0,9 seconde et 80. Avec une limite interactive à 1,2 seconde, écartez A ; pour des lots de nuit exigeant au moins 100 requêtes par minute, écartez B. Le p95 n’est pas une moyenne : utilisez la même définition d’échantillon et examinez les cas lents. Des jetons produits par seconde ne sont pas des requêtes traitées par minute. Ce sont des exemples papier, pas des mesures.

Fixez le modèle et sa version, les échantillons, les longueurs d’entrée et de sortie et l’arrivée des requêtes. Vérifiez que le matériel et les logiciels restent identifiables. Comparez les coûts au même périmètre, par exemple par lot accepté, plutôt qu’un prix unitaire face à une facture totale. S’il manque une condition clé, classez les fiches comme non comparables et ne migrez pas sur cette seule base.

Quand se passer de cette méthode

Si un modèle dans un seul environnement suffit pour une faible charge, utilisez vos rapports existants pour vérifier les cas lents. Un benchmark à deux charges est plus pertinent pour plusieurs configurations ou lorsque les priorités interactives et de lot divergent. Si la décision repose sur la résidence des données, le déploiement privé ou les droits d’accès aux journaux, vérifiez des preuves contractuelles et techniques indépendantes ; les scores n’y répondent pas.

À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.

Source originale :flex.ai