LiteLLM과 Portkey: 여러 사업 부문이 모델을 공유할 때 권한·예산·장애 전환의 경계는 누가 지킬까

LiteLLM은 데이터베이스, 릴리스, 보안 유지보수를 맡을 수 있는 플랫폼 팀에 적합하다. Portkey의 기업용 Workspace와 중앙 모델 관리는 사업 부문별 관리 권한 위임에 더 잘 맞는다. 선택할 때는 오픈소스 가격이나 기능 목록만 비교하지 말고 예산 격리, 승인된 장애 전환 경로, 유지보수 책임을 같은 인수 기준으로 확인해야 한다.

출처: docs.litellm.ai
2026년 11월 3일
13 min

고객지원 도우미, 영업 요약, 사내 개발 도구가 모델 공급자를 공유할 때 공급자 키를 숨기는 일은 첫 단계에 불과하다. 플랫폼 책임자는 다른 질문에도 답해야 한다. 영업이 예산을 소진해도 고객지원은 계속 작동하는가? 주 모델에 오류가 생겼을 때 요청이 승인되지 않은 리전으로 가는가? 주말에 보안 공지가 나오면 누가 배포 환경을 확인하고 자격 증명을 교체할 수 있는가?

LiteLLM Proxy와 Portkey는 모두 애플리케이션과 모델 공급자 사이에서 접근 권한, 사용량, 라우팅을 중앙 관리할 수 있다. 이미 플랫폼 운영 역량이 있고 게이트웨이와 정책 배포를 직접 통제하려는 팀이라면 LiteLLM을 먼저 검증할 만하다. 여러 사업 부문의 권한과 자원을 각 책임자에게 맡기는 것이 주된 어려움이고 기업용 거버넌스 기능을 구매할 의향이 있다면 Portkey를 구매 검증 대상으로 우선 고려할 만하다. 어느 쪽도 공급자 청구서, 데이터 경로, 사고 대응에 대한 팀의 책임을 없애 주지는 않는다.

이 글은 2026년 11월 10일까지 확인한 공식 자료를 바탕으로 조직용 게이트웨이를 비교한다. SDK 인터페이스 수나 지연 시간 순위를 비교하는 글이 아니다. Portkey의 현재 공식 명칭에는 Prisma AIRS AI Gateway가 포함되어 있다. 문서와 쉽게 대조할 수 있도록 아래에서는 Portkey라는 이름을 사용하지만, 예전 Portkey의 배포 방식, 라이선스, 견적을 현재 계약의 약속으로 간주해서는 안 된다.

사업 부문의 경계는 호출 권한과 변경 권한까지 구체화해야 한다

LiteLLM의 Virtual Keys 문서는 프록시 키를 기준으로 모델 접근과 비용 귀속을 관리하며 사용자 및 팀 연결도 지원한다. 키 관리에는 PostgreSQL이 필요하고 master key는 프록시 관리자 자격 증명이다. 이를 운영할 수 있는 플랫폼 팀은 사업 부문별로 팀 키를 할당하고 모델 목록과 권한을 자체 설정 및 전달 절차에 넣을 수 있다. 대신 데이터베이스, 관리자 권한, 정책 변경도 자체 운영 범위에 포함된다. 업무 애플리케이션에 전용 호출 자격 증명 대신 관리자 키를 제공해서는 안 된다.

Portkey의 조직 관리 문서는 Organization과 Workspace로 팀, 프로젝트, 자원을 분리하며 Workspace는 현재 Enterprise 요금제 기능이라고 명시한다. Model Catalog의 Integrations에 공급자 자격 증명을 중앙 저장한 뒤 특정 Workspace에 모델, 예산, 속도 제한을 배분할 수 있다. 이는 ‘플랫폼이 일괄 구매하고 각 사업 부문에 할당하는’ 관리 방식에 더 가깝다. 하지만 오픈소스 gateway를 사용할 수 있다는 사실만으로 이 제어 평면까지 무료로 제공된다고 볼 수는 없다.

놓치기 쉬운 구매 조건도 있다. Portkey 업그레이드 가이드는 기존 Virtual Keys를 AI Providers로 발전시키고 Model Catalog로 모델을 관리하도록 권장한다. 그런데 같은 가이드에는 기능을 활성화하려면 팀에 연락해야 한다고 여전히 적혀 있다. 신규 구매자는 대상 테넌트에서 실제로 사용할 수 있는 화면과 API를 공급자가 시연하도록 요청해야 한다. 기존 사용자는 현재 호출의 호환성과 관리 API 이전 범위를 확인해야 한다. 문서에 새 이름이 등장했다고 자신의 계정도 업그레이드가 끝난 것은 아니다.

예산이 독립적이어야 업무도 계속된다

고객지원과 영업에 각각 예산이 있고 영업의 일괄 작업이 통제를 벗어났다고 가정하자. 인수 목표는 영업이 차단되어도 고객지원은 계속 호출할 수 있고 비용이 올바른 사업 부문에 귀속되는 것이다. 대시보드에 숫자 두 개가 표시되는 것만으로는 충분하지 않다.

LiteLLM 예산 문서는 팀 및 팀 구성원 예산을 지원하며 팀 키에는 소유자의 개인 예산을 적용하지 않는다고 설명한다. 더 중요한 점은 이러한 예산이 데이터베이스에 의존한다는 것이다. 데이터베이스 없는 배포에서는 전역 예산을 설정해도 지출을 제한할 수 없다. 자체 운영 팀은 데이터베이스 상태, 비용 갱신, 동시 요청을 인수 시험에 포함해야 한다. 설정 파일 하나를 이미 효력이 있는 재무 통제로 여겨서는 안 된다.

Portkey의 Integrations 문서는 Workspace마다 예산과 속도 제한을 다르게 설정할 수 있으며 한도 소진 후 사용 중단과 임곗값 알림을 제공한다. 공급자 자격 증명, Workspace, 애플리케이션 호출 자격 증명 사이에 제한이 어떻게 연결되는지 명확히 도식화해야 한다. 상위 공급자 계정을 공유하면 공급자 자체의 할당량도 공유할 수 있다. 게이트웨이 안에서 비용을 따로 기록한다고 상위 공급자의 처리 용량까지 자동으로 격리되는 것은 아니다.

어느 쪽을 선택하든 같은 요청 묶음을 기준으로 게이트웨이 비용 기록과 공급자 청구서를 대조하고, 사용자 지정 가격, 재시도, 대체 모델 비용을 확인해야 한다. 예산은 요청을 제어하는 수단이다. 시험도 하지 않고 어떤 동시 처리 상황에서도 한 푼도 초과하지 않는다고 약속할 수는 없다. 알림에도 수신자와 대응 절차가 필요하다.

장애 전환은 성공 응답뿐 아니라 작업의 성립을 지켜야 한다

LiteLLM의 Fallbacks 문서는 지정된 횟수만큼 재시도한 뒤에도 요청이 실패하면 다른 모델 그룹으로 전환할 수 있다고 설명한다. Portkey는 순서가 있는 대상 목록으로 장애 전환을 설정한다. 기본적으로 2xx가 아닌 상태 코드가 트리거가 되며, on_status_codes로 429나 503처럼 특정 코드만 지정할 수도 있다. 양쪽 모두 장애 전환을 지원하므로 차이는 팀이 라우팅을 어떻게 관리하고 검증하는지에서 찾아야 한다. 어느 홍보 페이지에 ‘안정적’이라는 말이 있는지가 기준은 아니다.

예를 들어 고객지원이 특정 리전의 모델 엔드포인트만 사용할 수 있다면 대체 대상도 그 규칙을 따라야 한다. 영업 요약에 더 저렴한 대체 모델을 허용하더라도 구조화된 출력은 후속 처리의 필드 요구 사항을 충족해야 한다. 공급자나 모델을 바꾸면 가격, 응답 시간, 출력 동작이 달라진다. 인수 시험에서는 주 대상에 의도적으로 속도 제한을 발생시킨 뒤 실제 사용된 대체 대상, 최종 출력, 전체 시도 기록을 확인해야 한다. 이어서 전체 타임아웃과 재시도 횟수가 한 요청의 사용자 경험을 망치지 않는지 확인해야 한다. 이는 제안하는 시험 계획이며 이 글에서 이미 수행한 실측은 아니다.

유지보수 책임이 게이트웨이의 장기적 통제 능력을 좌우한다

LiteLLM을 자체 운영하기 전에는 최근의 보안 사실을 운영 전환 조건에 포함해야 한다. 공식 발표는 2026년 10월 21일 v1.107.0 릴리스가 침해되었고 사고는 억제되었다고 확인했다. 그러나 10월 30일 개선 설명에는 진행 중이거나 계획 단계인 항목이 남아 있었다. 따라서 ‘사고 억제 완료’는 자신의 환경이 영향을 받았는지 확인하는 일을 대신할 수 없고, 모든 개선이 끝났다고 표현해서도 안 된다. 영향을 받은 산출물을 배포한 팀은 공식 사고 설명에 따라 점검하고 대응해야 한다. 패키지만 업그레이드한 뒤 자격 증명이 노출되지 않았다고 가정해서는 안 된다.

유지보수 정책도 바뀌고 있다. LiteLLM은 11월 2일 1.108 LTS 계열을 한 달간 시범 운영하며 그동안 최근 네 개 안정 계열을 패치하는 정책을 중단한다고 발표했다. 11월 6일 추가 설명에는 lts 이미지 태그가 새로 포함되었다. 구매나 배포 전에 지원 범위를 다시 확인하고 검증된 특정 산출물을 선택한 뒤 다이제스트, 업데이트 승인, 롤백 방법을 기록해야 한다. 공지 추적, 패치 시험, 자격 증명 교체에는 명확한 담당자가 필요하다. 오픈소스 라이선스 자체가 이 일을 맡아 주지는 않는다. 이러한 사실이 Portkey에는 위험이 없다는 뜻도, LiteLLM이 유지보수를 중단했다는 뜻도 아니다.

Portkey의 하이브리드 배포 구조는 데이터 평면을 고객 VPC에 두고 제어 평면은 Portkey가 호스팅한다. 게이트웨이는 로컬 캐시 설정으로 작동하며 제어 평면과 동기화한다. 로그는 고객 환경이나 Portkey 클라우드에 저장할 수 있다. 이 방식은 제어 평면 유지보수의 일부를 줄여 주지만 고객 측 컨테이너, 캐시, 네트워크, 로그 정책에는 여전히 담당자가 필요하다. 특히 콘솔에서 로그를 볼 때의 데이터 흐름과 제어 평면 연결이 끊겼을 때 새 설정 및 키 폐기가 언제 적용되는지 확인해야 한다. ‘하이브리드 배포’를 모든 데이터와 관리 기능이 오프라인으로 로컬에 남는다는 뜻으로 해석해서는 안 된다.

선택을 검증 가능한 구매 조건으로 바꾸자

PostgreSQL 운영, 릴리스 승인, 보안 당직 역량을 이미 갖추고 모델 권한과 라우팅을 기존 플랫폼에 통합하려는 팀은 LiteLLM을 제한된 업무에서 먼저 시험할 수 있다. 이런 책임을 맡을 사람이 없다면 낮은 라이선스 비용만으로 즉시 운영 환경에 도입할 수는 없다. 공급자 자원을 중앙 할당하고 사업 책임자에게 관리를 위임하며 호스팅형 제어 평면을 수용하는 팀은 Portkey Enterprise를 우선 검증할 수 있다. 다만 현재 Prisma AIRS 계약에 필요한 Workspace, Model Catalog, 배포 방식, 지원 책임이 실제로 포함되어 있어야 한다.

양쪽에 같은 인수 시험을 요구하자. 한 사업 부문의 호출 자격 증명을 폐기해도 다른 부문에 영향이 없어야 한다. 영업 예산을 소진해도 고객지원은 계속 작동해야 한다. 주 모델에 장애가 나면 승인된 대체 경로만 사용해야 한다. 로그를 내보내 각 시도의 비용을 설명할 수 있어야 한다. 견적에는 모델 공급자 비용, 게이트웨이 라이선스나 서비스 요금, 인프라, 로그 보관 및 내보내기, 기업 지원, 운영 인건비에 해당하는 작업 시간도 함께 적어야 한다. 이번 조사에서는 동일한 기준으로 비교할 수 있는 기업 견적을 확인하지 못했으므로 어느 쪽의 총비용이 더 낮다고 주장하지 않는다.

최종적으로는 자신의 권한 경계, 장애 상황, 유지보수 역량 아래에서 인수 시험을 통과하는 방안을 선택해야 한다. 현재 단일 애플리케이션과 단일 공급자만 있고 사업 부문 간 거버넌스 문제도 없다면 기존 호출 경로를 유지하다가 중앙 통제가 분명히 필요해질 때 게이트웨이를 추가해도 된다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:docs.litellm.ai