Guia para escolher FlexAI: maior vazão offline significa menor espera interativa?

O FlexBench separa a carga em streaming da offline. Descubra se o problema é a primeira resposta ou o tempo de finalizar o lote.

Fonte: flex.ai
November 1, 2026
2 min

Ao comparar infraestrutura de inferência para modelos de linguagem abertos, não use a vazão no ranking do fornecedor como velocidade interativa. Um artigo técnico de março de 2026 da FlexAI descreve o FlexBench, seu projeto de código aberto. No modo servidor com streaming as solicitações chegam em tempos diferentes; offline, chegam todas de uma vez. São registrados tempo até o primeiro token (TTFT), vazão e percentis de latência. Os resultados de laboratório usam modelos, dados e hardware específicos, sem prometer desempenho na hospedagem da FlexAI.

Defina primeiro o limite inegociável

Em duas fichas fictícias, A tem espera p95 de 1,8 segundo pelo primeiro token no streaming e vazão offline de 120 solicitações por minuto. B tem 0,9 segundo e 80 por minuto. Com limite interativo de 1,2 segundo, descarte A; para lotes noturnos que exigem pelo menos 100 por minuto, descarte B. P95 não é média: use a mesma definição amostral e observe os casos lentos. Tokens de saída por segundo não são solicitações concluídas por minuto. As fichas são exemplos em papel, não testes.

Fixe no quadro o modelo e a versão, as amostras, os comprimentos de entrada e saída e o padrão de chegada das solicitações. Confira se a combinação de hardware e software é rastreável. Compare despesas com o mesmo escopo, como custo por lote aceito, e não o preço unitário de um com o valor do lote inteiro do outro. Se faltar uma condição essencial, marque os resultados como incomparáveis e não migre com essa base.

Quando dispensar o benchmark

Se um modelo em um ambiente já atende à baixa demanda, verifique os casos lentos nos relatórios atuais. Use duas cargas mais rigorosas para comparar várias configurações ou se interação e lote levarem a escolhas diferentes. Se a questão for residência dos dados, implantação privada ou permissão para acessar logs, peça evidências contratuais e técnicas separadas; a pontuação não resolve isso.

Nota sobre o conteúdo:Este artigo foi elaborado com base em informações públicas e serve como referência para a escolha de ferramentas. Os recursos, os preços e as políticas relacionadas podem mudar a qualquer momento; consulte as informações oficiais mais recentes.

Fonte original:flex.ai