OpenRouter와 Together AI: 모델 API를 바꿀 때 라우팅, 직접 연결, 청구부터 구분하자
공급업체 간 전환과 폴백이 필요하면 OpenRouter를 검증할 가치가 더 크다. Together 모델이나 전용 자원을 이미 선택했다면 직접 연결이 서비스 경로를 명확히 하기 쉽다. 선택 시 매개변수 적용 여부, 폴백 범위, BYOK 요금, 전용 복제본 비용을 함께 확인해야 하며 token 단가만 비교해서는 안 된다.
애플리케이션에 채팅 모델을 연결했고 이제 요약, 질의응답, 도구 호출에 각각 쓸 모델을 고르려 한다고 하자. OpenRouter는 여러 추론 공급업체 선택지와 통합 연결 및 폴백 진입점을 유지하려는 팀에 적합하다. Together AI는 지원 모델을 이미 선택했고 추론 계정을 직접 관리하거나 전용 배포를 추가로 구매하려는 팀에 더 적합하다. 어느 쪽이든 구체적인 요청의 검수부터 해야 하며 “OpenAI API 호환”을 동작이 완전히 같다는 뜻으로 받아들여서는 안 된다.
둘은 서로 겹치지 않는 모델 저장소도 아니다. Together 자체가 OpenRouter 공급업체 중 하나다. 같은 모델도 OpenRouter를 거쳐 Together로 라우팅하거나 애플리케이션에서 Together로 직접 연결할 수 있다. 실제 선택 대상은 누가 상위 공급업체를 고르고 실행 경로를 어떻게 고정하며 어느 계층에서 청구가 발생하는지다. 근거한 분석이며 지연, 가용성, 출력 품질의 실측은 포함하지 않는다.
주소를 바꾼 뒤에도 매개변수가 실제로 적용되는지 확인하자
애플리케이션에 스트리밍 응답, 도구 호출, 고정 형식 출력이 필요하다고 가정하자. 마이그레이션 검수에서는 동일한 대표 입력 묶음으로 이 동작들과 사용량 필드를 확인해야 한다. 응답이 한 번 성공했다고 트래픽을 늘려서는 안 된다. 양쪽의 모델 식별자, 버전, 엔드포인트도 각각 확인해야 하며 모델 표시 이름만 비교해서는 안 된다.
Together의 호환성 설명은 OpenAI 클라이언트에 Together 키와 https://api.together.ai/v1을 사용할 수 있다고 한다. 다만 service_tier, store, metadata, prediction은 받아들이되 무시하며, seed는 최선의 노력으로만 따르고 복제본, 버전, 부하 조건에 걸친 결정성을 보장하지 않는다고 명시한다. 애플리케이션이 이 매개변수의 실제 효과에 의존한다면 직접 연결도 대응이 필요하다. 성공 응답이 제약의 적용을 입증하는 것은 아니다.
OpenRouter에는 상위 공급업체 선택 계층이 하나 더 있다. 공급업체 라우팅 문서는 전달한 매개변수를 지원하지 않는 공급업체를 제외하는 require_parameters: true를 제공한다. 매개변수 지원을 라우팅 조건으로 만들 수 있지만 모델 결과가 업무 요건을 충족한다고 보장하지는 못한다. 엄격한 검증은 애플리케이션에 남겨 두고 라우팅 필터링 실패도 처리해야 할 결과로 다뤄야 한다. 성공률 회복을 위해 제약을 몰래 완화해서는 안 된다.
공급업체를 고정하면 자동 폴백의 여지가 줄어든다
OpenRouter의 같은 문서는 선호와 제한을 구분한다. order는 우선순위를 지정하고 only는 허용 공급업체를 제한하며 allow_fallbacks는 기본적으로 켜져 있다. 검수된 특정 공급업체만 사용해야 한다면 후보를 명확히 제한하고 폴백 규칙을 설정해야 한다. 공급업체 이름 하나가 여러 엔드포인트 변형을 포함할 수도 있으므로 테스트에서는 브랜드명만 기록하지 말고 선택된 엔드포인트를 확인해야 한다.
Together에 직접 연결하면 외부 공급업체 선택이 Together로 고정되지만 serverless에 전용 하드웨어나 고정 지연이 생기는 것은 아니다. serverless 설명은 높은 부하에서 속도 제한이 발생할 수 있고 응답 시간이 모델 및 수요에 따라 달라진다고 명시한다. 예약된 하드웨어를 직접 제어하려면 dedicated endpoint를 별도로 평가해야 한다. 거래 공급업체를 고정하는 것과 배포 자원을 고정하는 것은 서로 다른 구매 결정이다.
예를 들어 질의응답은 검수된 대체 모델을 허용할 수 있지만 도구 호출은 동일한 매개변수 규약을 유지해야 할 수 있다. OpenRouter의 모델 폴백은 models 목록에 따라 다른 모델을 차례로 시도하게 한다. 이는 같은 모델에서 공급업체를 바꾸는 것과 다르다. “대체 가능한 공급업체”와 “대체 가능한 모델” 목록을 각각 유지하고 최종 응답의 model을 확인해야 한다. 대체 모델이 업무 검수를 거치지 않았다면 호출 가능하다는 이유만으로 운영 폴백 목록에 넣어서는 안 된다.
재시도 전략은 속도 제한, 결제 문제, 업무 실패를 구분해야 한다
Together는 429에는 요청 속도를 낮추고 급증 트래픽을 분산하며, 503에는 잠시 기다린 뒤 재시도하고 지수 백오프를 사용하라고 권한다. 오류 설명은 402를 크레딧 소진 또는 지출 한도 도달로 분류한다. 이런 결제 문제는 계속 재시도해도 서비스가 복구되지 않으므로 애플리케이션에 경고와 명확한 실패 응답이 필요하다.
OpenRouter는 설정 범위 내의 공급업체 또는 모델 폴백을 맡아 애플리케이션이 대체 호출을 직접 구성하는 작업을 줄일 수 있다. 하지만 폴백에도 사용자 대기 시간이 들고 답이 돌아와도 업무 검증을 통과하지 못할 수 있다. 두 경로 모두 전체 시간 제한과 재시도 한도를 설정하고 도구 호출로 외부 작업이 중복 발생하지 않게 해야 한다. 여기서 논의하는 것은 권장 검수 조건이지 이미 수행한 장애 훈련이 아니다.
비용 대조에서는 추론료, 플랫폼 수수료, 실행 중 복제본을 나누자
OpenRouter 가격 페이지에 따르면 추론은 공급업체 표시 가격으로 청구되고 플랫폼 수수료는 크레딧 구매 시 부과된다. Standard는 5.5%, Business는 8%다. 따라서 모델 token 단가가 같아도 충전 총지출이 같다고 결론 내릴 수 없다. 비용 대조 시 추론 소비, 충전 수수료, 적용 세금을 각각 기록해야 한다. 크레딧 구매에 지출한 현금이 그달에 모두 소비됐다는 뜻도 아니다.
BYOK는 또 다른 청구 경로다. OpenRouter BYOK 문서와 가격 페이지에 따르면 Standard와 Business에는 매월 표시 가격 기준 추론 비용 25,000달러에 해당하는 BYOK 수수료 면제 한도가 포함된다. 초과분은 같은 모델과 같은 공급업체의 OpenRouter 표시 가격 비용의 5%를 OpenRouter 잔액에서 차감한다. Enterprise 한도는 별도 협의한다. 상위 공급업체는 여전히 추론료를 직접 청구하므로 이 무료 한도가 상위 청구를 면제하지는 않으며 요청 횟수 기준도 아니다.
예를 들어 어느 달 BYOK의 표시 가격 기준 추론 비용이 30,000달러이고 위 25,000달러 한도가 적용된다면 초과 5,000달러에 대한 BYOK 수수료는 250달러다. 이 계산에는 상위 공급업체 추론 청구, 수수료 지불용 크레딧 구매에서 발생하는 비용이나 세금은 포함되지 않는다. 상위 계약 할인이 이 수수료의 표시 가격 산정 기준을 바꾼다는 의미도 아니다. BYOK 실패 시 OpenRouter 공유 엔드포인트로 전환을 허용하는지도 확인해 실제 결제 경로가 예상과 달라지지 않도록 해야 한다.
Together 직접 연결의 텍스트 serverless는 사용량 기준 과금이다. 전용 추론 가격은 실행 중인 복제본 각각의 분 단위 시간으로 과금하며 요청이 없어도 실행 중 복제본에는 비용이 든다. 따라서 dedicated의 GPU 시간당 가격을 serverless의 백만 token당 단가와 직접 비교해서는 안 된다. 업무 트래픽에서 필요한 복제본 수, 실행 시간, 유휴 비율을 먼저 측정한 뒤 가치가 있는지 계산해야 한다. 이 글은 전용 배포가 본질적으로 더 저렴하다고 가정하지 않는다.
실행 경로를 정한 다음 합격 결과 한 건당 비용을 비교하자
모델과 공급업체를 자주 바꾸고 승인된 라우팅 집합을 유지할 의향이 있는 팀은 OpenRouter를 먼저 검증하자. 주요 트래픽에서 Together 모델을 사용하기로 했고 사용량, 지원, 전용 자원에 직접 연결해야 한다면 Together를 먼저 검증하자. 두 경로를 유지할 수도 있지만 “OpenRouter에서 Together로 라우팅”과 “Together 직접 연결”을 따로 기록해야 한다. 그렇지 않으면 장애 분석과 비용 비교가 뒤섞인다.
운영 투입 전에 같은 입력 묶음으로 모델 및 공급업체 식별 정보, 필수 매개변수, 폴백 후 형식, 총 대기 시간, 청구 필드를 각각 확인하자. 업무 검증에 통과한 결과를 비용 계산의 분모로 삼고 실패 및 재시도 소비도 기록한다. 이렇게 비교해야 겉보기에 대체 가능한 두 API 주소가 아니라 애플리케이션에 실제로 필요한 서비스 비용을 얻을 수 있다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:openrouter.ai