Guía para elegir FlexAI: ¿más rendimiento en lote supone menos espera interactiva?

FlexBench separa la carga en streaming de la carga fuera de línea. Decide si el cuello de botella es la primera respuesta o terminar el lote.

Fuente: flex.ai
1 de noviembre de 2026
2 min

Al comparar infraestructura de inferencia para modelos de lenguaje abiertos, no confundas rendimiento en una tabla de un proveedor con rapidez interactiva. Un artículo técnico de marzo de 2026 de FlexAI describe su proyecto de código abierto FlexBench. En modo servidor con streaming, las peticiones llegan con el tiempo; en modo fuera de línea se envían todas de golpe. Registra tiempo hasta el primer token (TTFT), rendimiento y percentiles de latencia. Los resultados del laboratorio corresponden a modelos, datos y equipos concretos; no garantizan el rendimiento del alojamiento de FlexAI.

Define primero la restricción que no se puede incumplir

A tiene en una ficha ficticia una espera p95 hasta el primer token de 1,8 segundos en streaming y 120 peticiones por minuto fuera de línea. B tiene 0,9 segundos y 80, respectivamente. Con un límite interactivo de 1,2 segundos, descarta A. Si el lote nocturno exige al menos 100 peticiones por minuto, descarta B. El p95 no es una media: usa la misma definición de muestra y mira los casos lentos. Los tokens de salida por segundo tampoco son peticiones completadas por minuto. Son ejemplos en papel, no mediciones.

Fija modelo y versión, muestras, longitudes de entrada y salida y patrón de llegadas. Comprueba si se puede identificar la combinación de hardware y software. Compara costes con el mismo alcance, por ejemplo, por lote aceptable, no el precio unitario de uno frente al total del otro. Si falta una condición clave, marca los casos como no comparables y no migres sobre esa base.

Cuándo no usar esa prueba

Si ya te basta un modelo en un entorno con poca carga, comprueba los casos lentos en los informes que tienes. Una prueba rigurosa con dos tipos de carga se justifica al comparar varias configuraciones o si las prioridades de interacción y de lote difieren. Si importan la residencia de los datos, el despliegue privado o el acceso a los registros, busca pruebas contractuales y técnicas por separado: una puntuación no responde.

Nota sobre el contenido:Este artículo se basa en información pública y sirve como referencia para comparar y elegir herramientas. Las funciones, los precios y las políticas relacionadas pueden cambiar en cualquier momento; consulta la información oficial más reciente.

Fuente original:flex.ai