LiteLLM 與 Portkey:多個業務共用模型時,誰來守住權限、預算與容錯切換邊界
LiteLLM 適合能負責資料庫、版本發布與安全維護的平台團隊;Portkey 的企業 Workspace 與集中式模型管理更適合將管理權分配給各業務。選擇前應以同一套驗收確認預算隔離、核准的備援路徑及維護責任,不能只比較開源價格或功能清單。
客服助理、銷售摘要與內部研發工具共用模型供應商時,隱藏供應商金鑰只是第一步。平台負責人還得回答:銷售用完額度後,客服是否繼續運作?主要模型出錯後,請求是否送到未經核准的區域?週末出現安全公告,誰能檢查部署並輪替憑證?
LiteLLM Proxy 和 Portkey 都能位於應用程式與模型供應商之間,集中管理存取、用量和路由。若團隊已有平台維運能力,希望自行掌握閘道與策略部署,LiteLLM 值得優先驗證;若主要困難是讓不同業務的負責人各自管理權限與資源,並願意採購企業治理功能,Portkey 更值得納入採購驗證。兩者都無法免除團隊對供應商帳單、資料路徑與事件應變的責任。
比較組織級閘道,而非 SDK 介面數量或延遲排名。Portkey 目前的官方名稱已包含 Prisma AIRS AI Gateway,下文沿用 Portkey 以便對照文件;請勿將舊版 Portkey 的部署、授權與報價直接當成目前的合約承諾。
業務邊界要落實到誰能呼叫、誰能修改
LiteLLM 的 Virtual Keys 文件以代理金鑰控制模型存取及費用歸屬,並支援關聯使用者和團隊。金鑰管理需要 PostgreSQL,master key 是代理管理員憑證。具備相應能力的平台團隊可以按業務配置團隊金鑰,將模型清單與權限納入自己的設定及交付流程;代價是資料庫、管理員權限和策略變更也成為自身維運範圍。業務應用程式不應以管理員金鑰取代專用呼叫憑證。
Portkey 的組織管理文件則以 Organization 和 Workspace 區隔團隊、專案與資源,並明確指出 Workspace 目前屬於 Enterprise 方案。Model Catalog 的 Integrations 可以集中儲存供應商憑證,再向指定 Workspace 分配模型、預算與速率限制。這更貼近「平台統一採購,業務分別領用」的管理方式,但不能因為有開源 gateway,就認為這套控制平面也能免費取得。
這裡還有一個容易忽略的採購條件:Portkey 的升級指南將舊 Virtual Keys 演進為 AI Providers,並建議使用 Model Catalog 管理模型;同一指南仍寫明需要聯絡團隊啟用功能。新採購應請廠商在目標租戶示範實際可用的介面與 API,既有使用者則需確認現有呼叫的相容性和管理 API 的遷移範圍。文件出現新名稱,不代表自己的帳號已完成升級。
預算獨立,業務才能持續運作
假設客服與銷售各有一筆預算,銷售的批次工作失控。驗收目標應是銷售遭到攔截、客服仍能呼叫,而且帳單能歸屬到正確業務,而不只是儀表板顯示兩個數字。
LiteLLM 的預算文件支援團隊及團隊成員預算,並說明團隊金鑰不再套用持有者的個人預算。更重要的是,這些預算依賴資料庫;沒有資料庫的部署,不能靠設定全域預算來限制支出。自行管理的團隊需將資料庫健康狀態、費用更新與並行請求納入驗收,不能把一份設定檔視為已生效的財務控管。
Portkey 的 Integrations 文件允許為不同 Workspace 設定不同預算和速率限制,並提供額度耗盡後停止使用及門檻通知。應清楚畫出供應商憑證、Workspace 與應用程式呼叫憑證之間的限制關係:共用上游帳號,仍可能共用供應商本身的配額;在閘道內分開記帳,不會自動隔離上游容量。
無論選擇哪一個,都應以同一批請求核對閘道費用紀錄與供應商帳單,檢查自訂價格、重試與備援模型的費用。預算是請求控管,不能未經測試就承諾在任何並行情況下都不會超支一分錢;通知也必須有接收人與處理方式。
容錯切換要保住任務,不只是回傳成功
LiteLLM 的 Fallbacks 文件說明,請求在指定重試次數後仍失敗,可以轉向另一個模型群組。Portkey 則以有順序的目標清單設定容錯切換,預設由非2xx狀態碼觸發,也可使用 on_status_codes 限定,例如429或503。兩者都有容錯切換能力,應比較的是團隊如何管理與驗證路由,而非誰的宣傳頁寫了「可靠」。
例如客服只能使用某一區域的模型端點,備援目標也必須遵守這項規則;銷售摘要允許較便宜的備援模型,但結構化輸出仍須符合下游欄位要求。切換供應商或模型會改變價格、回應時間與輸出行為。驗收時應刻意讓主要目標觸發速率限制,查看實際使用的備援目標、最終輸出與完整嘗試紀錄,再確認總逾時與重試次數不會讓單次請求破壞使用體驗。這是建議的測試方案,並非本文已完成的實測。
維護責任決定閘道能否長期承擔控管
選擇自行管理 LiteLLM 前,需要將近期安全事實納入上線條件。官方確認2026年10月21日的 v1.107.0 發布遭到入侵,事件已獲控制;10月30日的改善說明仍列有進行中與計畫中的項目。因此,「事件已獲控制」不能取代檢查自身環境是否受影響,也不能寫成全部改善已完成。曾部署受影響製品的團隊,應依官方事件說明檢查並執行應變,不能只升級套件就假定憑證未曾外洩。
維護政策也在變動。LiteLLM 11月2日公告試行一個月的1.108 LTS分支,並在試行期間暫停修補最近四個穩定分支的政策;11月6日更新說明新增 lts 映像標籤。採購或部署前應再次核對支援範圍,選擇已驗證的特定製品,並記錄摘要值、更新核准與回復方式。持續追蹤公告、測試修補程式和輪替憑證,都需要明確負責人,開源授權本身不會負責這些工作。這些事實既不能證明 Portkey 沒有風險,也不能證明 LiteLLM 已停止維護。
Portkey 的混合部署架構將資料平面放在客戶 VPC,控制平面則由 Portkey 託管。閘道使用本機快取設定運作,並與控制平面同步;日誌可以儲存在客戶環境或 Portkey 雲端。這能減少部分控制平面維護工作,但客戶端的容器、快取、網路與日誌策略仍需有人負責。尤其應確認在控制台查看日誌時的資料流,以及控制平面斷線時,新設定與金鑰撤銷何時生效,不能把「混合部署」理解成所有資料與管理功能都離線保留在本機。
將選擇寫成可驗收的採購條件
具備 PostgreSQL 維運、發布核准與安全值班能力,希望將模型權限和路由納入既有平台的團隊,可以先以 LiteLLM 在有限業務範圍內試行;若這些職責無人接手,低授權成本不足以支持直接上線。需要集中分配供應商資源、授權業務負責人管理,並接受託管控制平面的團隊,可以優先驗證 Portkey Enterprise;前提是目前的 Prisma AIRS 合約確實包含所需 Workspace、Model Catalog、部署方式與支援責任。
請雙方完成同一組驗收:撤銷一個業務的呼叫憑證,不影響另一個業務;耗盡銷售額度,客服仍可運作;主要模型故障時,只走核准的備援路徑;匯出日誌並解釋每次嘗試的費用。報價也應一併列出模型供應商費用、閘道授權或服務費、基礎設施、日誌保留與匯出、企業支援,以及維運工時。本次未能核實可在相同基準下比較的企業報價,因此不宣稱哪一方總成本較低。
最後應選擇能在自身權限邊界、故障情境與維護能力下通過驗收的方案。若目前只有單一應用程式、單一供應商,且沒有跨業務治理問題,也可以先保留現有呼叫流程,等確定需要集中控管時再加入閘道。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:docs.litellm.ai