FlexAI 선택 가이드: 오프라인 처리량이 높으면 대화 응답도 빨라질까?
FlexBench는 스트리밍과 오프라인 부하를 분리합니다. 첫 응답이 병목인지, 전체 배치 완료 시간이 병목인지 구분하세요.
공개 언어 모델의 추론 인프라를 비교할 때 공급사 순위의 처리량을 대화 속도로 해석하지 마세요. FlexAI의 2026년 3월 기술 글은 자사의 오픈 소스 FlexBench를 설명합니다. 서버 스트리밍 모드에서는 요청이 시간에 따라 도착하지만 오프라인 모드에서는 모든 요청을 한꺼번에 제출합니다. 첫 토큰까지 걸린 시간(TTFT), 처리량, 지연 시간 백분위수를 기록합니다. 글의 실험값은 특정 모델과 데이터, 하드웨어의 결과이며 FlexAI 호스팅 성능을 보장하지 않습니다.
넘을 수 없는 조건부터 쓰기
가상 점수 카드 두 장을 놓습니다. A는 스트리밍 p95 첫 토큰 대기가 1.8초이고 오프라인에서 분당 요청 120개를 처리합니다. B는 0.9초와 분당 80개입니다. 대화형 상한이 1.2초라면 A를 먼저 제외합니다. 야간 배치가 분당 최소 100개를 요구하면 B를 제외합니다. p95는 평균이 아닙니다. 같은 표본 기준으로 느린 쪽 꼬리를 봅니다. 초당 출력 토큰과 분당 처리 완료 요청을 혼동하지 마세요. 모두 종이 검수용 사례로 실측이 아닙니다.
선정표에 모델과 버전, 표본, 입력 및 출력 길이, 요청 도착 방식을 고정한 뒤 사용한 하드웨어와 소프트웨어 구성을 추적할 수 있는지 확인합니다. 비용도 동일한 범위, 예를 들어 기준을 통과한 한 배치의 비용으로 비교합니다. 한쪽 단가와 다른 쪽 배치 전체 비용을 비교하지 않습니다. 중요 조건이 빠지면 비교 불가로 적고 이전 근거로 삼지 않습니다.
이 벤치마크가 필요 없는 경우
한 모델과 한 환경으로 낮은 부하의 요구 사항을 이미 만족한다면 기존 보고서에서 꼬리 지연을 확인하면 됩니다. 여러 구성을 비교하거나 대화와 배치에서 결론이 엇갈릴 때 엄격한 두 부하 비교가 유용합니다. 데이터 저장 위치, 전용 배포, 로그 접근 권한이 관건이면 별도의 계약 및 기술 증거를 확인하세요. 벤치마크 점수로 답할 수 있는 문제가 아닙니다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:flex.ai