LiteLLM 与 Portkey:多业务共用模型时,谁来守住权限、预算和回退边界

LiteLLM 适合能承担数据库、发布和安全维护的平台团队;Portkey 的企业 Workspace 与集中模型管理更适合业务分权。选择前要把预算隔离、批准的回退路径及维护责任放进同一套验收,不能只比较开源价格或功能清单。

来源: docs.litellm.ai
2026年11月3日
6 min

客服助手、销售摘要和内部研发工具共用模型供应商时,把供应商密钥藏起来只是第一步。平台负责人还得回答:销售用完额度后,客服是否继续运行?主模型出错后,请求是否去了未经批准的区域?周末出现安全公告,谁能检查部署并轮换凭据?

LiteLLM Proxy 和 Portkey 都能处在应用与模型供应商之间,集中管理访问、用量和路由。若团队已有平台运维能力,希望自己掌握网关与策略部署,LiteLLM 值得优先验证;若主要困难是把多个业务的权限和资源交给各自负责人管理,并愿意购买企业治理能力,Portkey 更值得进入采购验证。两者都不能让团队免除供应商账单、数据路径和应急响应责任。

比较组织级网关,不是 SDK 接口数量或延迟排名。Portkey 当前官方名称已包含 Prisma AIRS AI Gateway,下文沿用 Portkey 便于对应文档;不要把旧版 Portkey 的部署、许可和报价直接当成当前合同承诺。

业务边界要落实到谁能调用、谁能修改

LiteLLM 的 Virtual Keys 文档把模型访问与费用归属落在代理密钥上,并支持关联用户和团队。密钥管理需要 PostgreSQL,master key 是代理管理员凭据。适合的平台团队可以按业务分配团队密钥,把模型清单和权限放进自己的配置及交付流程;代价是数据库、管理员权限和策略变更也进入自己的运维范围。业务应用不应拿管理员密钥代替专用调用凭据。

Portkey 的组织管理文档则以 Organization 和 Workspace 分隔团队、项目及资源,并明确 Workspace 目前属于 Enterprise 方案。Model Catalog 的 Integrations 可以集中存放供应商凭据,再向指定 Workspace 分配模型、预算和速率限制。这更贴近“平台统一采购,业务分别领用”的管理方式,但不能从开源 gateway 的可用性推导出免费拥有这套控制平面。

这里还有一个容易漏掉的采购条件:Portkey 的升级指南把旧 Virtual Keys 演进为 AI Providers,并推荐用 Model Catalog 管理模型;同一指南仍写着需要联系团队开启功能。新采购应让厂商在目标租户演示实际可用的界面和 API,旧用户则要确认现有调用兼容性和管理 API 迁移范围。文档里的新名称不等于自己的账号已经完成升级。

预算独立,才有业务连续性

假设客服和销售各有一笔预算,销售批量任务失控。验收目标应是销售被拦截、客服仍能调用,且账单能归到正确业务,而不只是仪表盘显示两个数字。

LiteLLM 的预算文档支持团队及团队成员预算,并说明团队密钥不会再套用持有者的个人预算。更关键的是,这些预算依赖数据库;无数据库部署不能靠设置全局预算来限制支出。自管团队需要把数据库健康、费用更新和并发请求纳入验收,不能把一份配置文件视为已经生效的财务控制。

Portkey 的 Integrations 文档允许给不同 Workspace 设置不同预算和速率限制,并提供额度耗尽后的停止使用及阈值通知。要把供应商凭据、Workspace 和应用调用凭据的限制关系画清楚:共享上游账号依然可能共享供应商自己的配额,网关内分开记账并不自动隔离上游容量。

无论选哪一个,都应在同一批请求上核对网关费用记录与供应商账单,检查自定义价格、重试和备用模型的费用。预算是请求控制,不能未经测试就承诺任何并发条件下都绝不超出一分钱;告警也必须有接收人和处置动作。

回退要保住任务,不只是返回成功

LiteLLM 的 Fallbacks 文档说明,请求在指定重试次数后仍失败,可以转向另一个模型组。Portkey 则用有顺序的目标列表配置回退,默认由非2xx状态码触发,也能用 on_status_codes 限定,例如429或503。两边都有回退能力,差别应在团队如何管理和验证路由,而不是谁的宣传页写了“可靠”。

例如客服只允许使用某一区域的模型端点,备用目标也必须遵守这条规则;销售摘要允许更便宜的备用模型,但结构化输出仍需满足下游字段要求。切换供应商或模型会改变价格、响应时间和输出行为。验收时应人为制造主目标限流,查看实际命中的备用目标、最终输出与完整尝试记录,再确认总超时和重试次数不会让一次请求拖垮用户体验。这是建议的测试方案,不是本文已完成的实测。

维护责任,决定这层网关能否长期承担控制

选择自管 LiteLLM 前,需要把近期安全事实纳入上线条件。官方确认2026年10月21日的 v1.107.0 发布遭到入侵,事件已被遏制;10月30日整改说明仍列有进行中和计划中的项目。因此,“事件已遏制”不能替代对自己环境是否受影响的检查,也不能写成全部整改完成。曾部署受影响制品的团队,应按官方事故说明核查并执行响应,不能只升级包就默认凭据没有暴露。

维护政策也在变化。LiteLLM 11月2日公告试行一个月的1.108 LTS线,并在试行期暂停修补最近四条稳定线的政策;11月6日更新说明新增 lts 镜像标签。采购或部署前应再次核对支持范围,选择经过验证的具体制品并记录摘要、更新审批和回滚办法。持续追踪公告、测试补丁和轮换凭据需要明确负责人,开源许可本身不会承担这些工作。这些事实不证明 Portkey 没有风险,也不证明 LiteLLM 已停止维护。

Portkey 的混合部署架构把数据平面放在客户 VPC,控制平面由 Portkey 托管。网关使用本地缓存配置运行,并与控制平面同步;日志可保存在客户环境或 Portkey 云端。这会减少一部分控制平面维护工作,但客户侧容器、缓存、网络和日志策略仍需有人负责。尤其要核对日志在控制台查看时的数据流、控制平面断联时新配置与撤销密钥何时生效,不能把“混合部署”理解为所有数据和管理功能都离线留在本地。

把选择写成可验收的采购条件

已有 PostgreSQL 运维、发布审批和安全值班能力,希望把模型权限与路由纳入现有平台的团队,可以先用 LiteLLM 做有限业务试点;若这些职责无人接手,低许可证成本不足以支持直接上线。需要集中分配供应商资源、向业务负责人委派管理,并接受托管控制平面的团队,可以优先验证 Portkey Enterprise;前提是当前 Prisma AIRS 合同确实包含所需 Workspace、Model Catalog、部署方式和支持责任。

让双方完成同一组验收:撤销一个业务的调用凭据而不影响另一个业务;耗尽销售额度而客服继续运行;主模型故障时只走批准的备用路径;导出日志并解释每次尝试的费用。报价还应同时列出模型供应商费用、网关许可或服务费、基础设施、日志保留及导出、企业支持和运维工时。本次没有核实可同口径比较的企业报价,不据此声称哪方总成本更低。

最终应选择能在自己的权限边界、故障场景和维护能力下通过验收的方案。若目前只有单一应用、单一供应商且没有跨业务治理问题,也可以先保留现有调用链,等明确需要集中控制时再增加网关。

内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。

原文出处:docs.litellm.ai