LiteLLM と Portkey:複数部門でモデルを共有するとき、権限・予算・フェイルオーバーの境界を誰が守るのか

LiteLLM はデータベース、リリース、セキュリティ保守を担えるプラットフォームチームに向き、Portkey の企業向け Workspace と集中型モデル管理は部門への権限委譲に適している。選定では、予算の分離、承認済みのフェイルオーバー経路、保守責任を同じ受け入れ基準で確認すべきであり、オープンソースの価格や機能一覧だけでは決められない。

ソース: docs.litellm.ai
2026年11月3日
12 min

カスタマーサポートのアシスタント、営業向け要約、社内開発ツールが同じモデルプロバイダーを使う場合、プロバイダーのキーを隠すことは出発点にすぎない。プラットフォーム責任者は、営業が予算を使い切ってもサポートは稼働するか、主モデルの障害時にリクエストが未承認のリージョンへ送られないか、週末のセキュリティ告知を受けて誰が環境を調査し認証情報をローテーションするか、にも答える必要がある。

LiteLLM Proxy と Portkey は、どちらもアプリケーションとモデルプロバイダーの間に入り、アクセス、使用量、ルーティングを集中管理できる。すでに運用能力があり、ゲートウェイとポリシーのデプロイを自ら管理したいチームなら、LiteLLM を優先的に検証する価値がある。複数部門の権限とリソースを各責任者に管理してもらうことが主な課題で、企業向けガバナンス機能の購入を受け入れるなら、Portkey を調達候補として検証したい。どちらを選んでも、プロバイダーの請求、データ経路、インシデント対応に対するチームの責任はなくならない。

本稿は2026年11月10日までに確認した公式資料に基づき、組織向けゲートウェイを比較する。SDK のインターフェース数やレイテンシーのランキングを比べるものではない。Portkey の現在の公式名称には Prisma AIRS AI Gateway が含まれている。文書と照合しやすいよう、以下では Portkey と表記するが、旧 Portkey のデプロイ方式、ライセンス、見積もりを現在の契約上の約束とみなしてはならない。

部門の境界は、呼び出せる人と変更できる人まで具体化する

LiteLLM の Virtual Keys 文書では、プロキシキーを単位としてモデルアクセスと費用の帰属を管理し、ユーザーやチームとの関連付けもできる。キー管理には PostgreSQL が必要で、master key はプロキシ管理者の認証情報である。対応できるプラットフォームチームは、部門ごとにチームキーを発行し、モデル一覧と権限を自らの設定・デリバリープロセスに組み込める。その代わり、データベース、管理者権限、ポリシー変更も自分たちの運用範囲となる。業務アプリケーションに専用の呼び出し認証情報の代わりに管理者キーを持たせるべきではない。

一方、Portkey の組織管理文書は Organization と Workspace でチーム、プロジェクト、リソースを分離し、Workspace は現時点で Enterprise プランの機能だと明記している。Model Catalog の Integrations ではプロバイダーの認証情報を集中保存し、指定した Workspace にモデル、予算、レート制限を割り当てられる。「プラットフォームが一括調達し、各部門に配分する」運用に近いが、オープンソース gateway が利用できるからといって、このコントロールプレーンまで無料で使えるわけではない。

見落としやすい調達条件もある。Portkey のアップグレードガイドでは従来の Virtual Keys を AI Providers へ発展させ、モデル管理には Model Catalog を推奨しているが、同じガイドには機能の有効化をチームへ依頼する必要があるとも記載されている。新規調達では対象テナントで実際に使える画面と API をベンダーに実演してもらい、既存ユーザーは現在の呼び出しとの互換性と管理 API の移行範囲を確認したい。文書に新名称があるだけでは、自分のアカウントの移行完了を意味しない。

予算を分けてこそ業務を継続できる

サポートと営業にそれぞれ予算があり、営業のバッチ処理が暴走したとする。受け入れ基準は、営業がブロックされてもサポートは呼び出しを続けられ、請求も正しい部門に帰属することだ。ダッシュボードに二つの数値が表示されるだけでは足りない。

LiteLLM の予算文書はチーム予算とチームメンバー予算をサポートし、チームキーには所有者の個人予算を適用しないと説明している。さらに重要なのは、これらの予算がデータベースに依存する点だ。データベースなしの構成では、グローバル予算を設定しても支出を制限できない。自己運用するチームはデータベースの健全性、費用の更新、同時リクエストを受け入れテストに含める必要がある。設定ファイルがあるだけで財務統制が機能していると考えてはならない。

Portkey の Integrations 文書では、Workspace ごとに異なる予算とレート制限を設定でき、予算消尽後の利用停止としきい値通知も提供される。プロバイダー認証情報、Workspace、アプリケーションの呼び出し認証情報の間で、制限がどう関係するかを図にしたい。上流アカウントを共有すれば、プロバイダー側のクォータも共有している可能性がある。ゲートウェイ内で費用を分けても、上流の処理容量が自動的に分離されるわけではない。

どちらでも、同じリクエスト群についてゲートウェイの費用記録とプロバイダー請求を照合し、カスタム料金、再試行、代替モデルの費用を確認すべきだ。予算はリクエストを制御する仕組みであり、テストせずに、どのような並行処理でも一銭も超過しないと約束できない。アラートにも受信者と対応手順が必要である。

フェイルオーバーは成功応答だけでなく業務の成立を守る

LiteLLM の Fallbacks 文書では、指定回数の再試行後も失敗するリクエストを別のモデルグループへ切り替えられる。Portkey は順序付きのターゲット一覧で切り替えを設定し、既定では非2xxステータスコードで発動する。on_status_codes により、例えば429または503に限定することもできる。両方にフェイルオーバー機能がある以上、比較すべきなのはチームがルーティングをどう管理・検証するかであり、どちらの宣伝ページに「信頼性」と書いてあるかではない。

例えば、サポートで特定リージョンのモデルエンドポイントしか使えないなら、バックアップ先もそのルールを守る必要がある。営業向け要約でより安い代替モデルを許可しても、構造化出力は後段のフィールド要件を満たさなければならない。プロバイダーやモデルの切り替えは価格、応答時間、出力の挙動を変える。受け入れテストでは主ターゲットに意図的にレート制限を発生させ、実際に使われたバックアップ先、最終出力、全試行の記録を確認し、そのうえで合計タイムアウトと再試行回数が一つのリクエストの体験を損なわないか確かめたい。これは提案するテスト計画であり、本稿で実施済みの実測ではない。

長期的な統制を支えるのは保守責任の明確さ

LiteLLM を自己運用する前には、最近のセキュリティ上の事実を本番導入条件に含める必要がある。公式発表は2026年10月21日の v1.107.0 リリースが侵害され、インシデントは封じ込められたと確認している。一方、10月30日の改善説明には進行中・計画中の項目が残っていた。「封じ込め済み」は自社環境が影響を受けたかの調査に代わるものではなく、全改善の完了とも書けない。影響を受けた成果物をデプロイしたチームは、公式の事故説明に従って調査と対応を行うべきで、パッケージを更新しただけで認証情報が漏れていないと考えてはならない。

保守方針も変化している。LiteLLM は11月2日、1.108 LTS 系列を1か月試行し、その期間は直近四つの安定系列にパッチを提供する方針を停止すると発表した。11月6日の追記では lts イメージタグが追加された。調達やデプロイ前にサポート対象を再確認し、検証済みの特定の成果物を選び、ダイジェスト、更新承認、ロールバック方法を記録したい。告知の継続的な確認、パッチのテスト、認証情報のローテーションには担当者が必要であり、オープンソースライセンスがそれを担うことはない。これらの事実は Portkey にリスクがないことも、LiteLLM の保守が終了したことも証明しない。

Portkey のハイブリッド構成は、データプレーンを顧客 VPC に置き、コントロールプレーンを Portkey がホストする。ゲートウェイはローカルにキャッシュした設定で動作し、コントロールプレーンと同期する。ログは顧客環境または Portkey クラウドに保存できる。コントロールプレーンの保守の一部は減らせるが、顧客側のコンテナ、キャッシュ、ネットワーク、ログ方針には依然として担当者が必要だ。特にコンソールでログを見る際のデータフローと、コントロールプレーン切断時に新設定やキー失効がいつ反映されるかを確認したい。「ハイブリッド」は、全データと管理機能がオフラインでローカルに残るという意味ではない。

検証可能な調達条件として選定する

PostgreSQL の運用、リリース承認、セキュリティ当番の体制があり、モデル権限とルーティングを既存プラットフォームへ組み込みたいチームは、まず LiteLLM を限定した業務で試せる。これらの責務を担う人がいなければ、低いライセンス費用だけで本番導入を正当化できない。プロバイダーのリソースを集中配分し、業務責任者へ管理を委譲したい、かつホスト型コントロールプレーンを受け入れるチームは Portkey Enterprise を優先して検証できる。ただし、現在の Prisma AIRS 契約に必要な Workspace、Model Catalog、デプロイ方式、サポート責任が実際に含まれることが前提だ。

両者に同じ受け入れ試験を課したい。一方の部門の認証情報を失効させても他方は動くこと、営業の予算を使い切ってもサポートは稼働すること、主モデルの障害時には承認済みの代替経路だけを使うこと、ログをエクスポートして各試行の費用を説明できることだ。見積もりにはモデルプロバイダー料金、ゲートウェイのライセンスまたはサービス料、インフラ、ログ保持とエクスポート、企業向けサポート、運用工数も同じように含める必要がある。本稿では同条件で比較できる企業向け見積もりは確認していないため、どちらの総費用が低いとは断言しない。

最終的には、自社の権限境界、障害シナリオ、保守能力の下で受け入れ試験を通過する案を選ぶべきだ。現状が単一アプリケーション、単一プロバイダーで、部門横断のガバナンス課題もないなら、既存の呼び出し経路を維持し、集中管理の必要が明確になってからゲートウェイを加えてもよい。

内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。

元の出典:docs.litellm.ai