OpenRouter 与 Together AI:切换模型 API 时,先分清路由、直连与账单

需要跨供应商切换和回退时,OpenRouter 更值得验证;已选定 Together 模型或专用资源时,直连更便于明确服务路径。选择应同时核对参数生效、回退范围、BYOK 费用和专用副本成本,不能只比较 token 单价。

来源: openrouter.ai
2026年11月12日
7 min

应用已经接入聊天模型,现在想给摘要、问答和工具调用分别挑选模型。OpenRouter 适合希望保留多个推理供应商选择、统一接入和回退入口的团队;Together AI 更适合已选定其支持的模型,希望直接管理推理账户,或进一步购买专用部署的团队。前提都是先验收具体请求,不能把“兼容 OpenAI API”当成行为完全一致。

两者也不是互不相交的模型仓库:Together 本身就是 OpenRouter 的供应商之一。同一个模型可能通过 OpenRouter 路由到 Together,也可能由应用直连 Together。真正要选择的是谁负责选上游、如何固定执行路径,以及账单在哪一层形成。不包含延迟、可用性或输出质量实测。

改完地址,还要核对参数是否真的生效

假设应用需要流式回复、工具调用和固定格式输出。迁移验收应使用同一组代表性输入,检查这些行为及用量字段,而不是看到一次成功回复就放量。还要分别确认两边的模型标识、版本和端点,不能只比较模型展示名称。

Together 的兼容性说明允许 OpenAI 客户端使用 Together 密钥和 https://api.together.ai/v1。但它明确写出 service_tier、store、metadata 和 prediction 会被接受却忽略,seed 只尽力遵循,不保证跨副本、版本或负载条件的确定性。若应用依赖这些参数的实际作用,直连也需要适配;返回成功并不证明约束生效。

OpenRouter 则多了一层上游选择。其供应商路由文档提供 require_parameters: true,用于排除不支持所传参数的供应商。这能把参数支持变成路由条件,但不能保证模型生成的结果符合业务要求。应把严格校验留在应用中,并把路由筛选失败当作需要处理的结果,不能为恢复成功率悄悄放宽约束。

固定供应商,会减少自动回退的空间

OpenRouter 的同一份文档区分了偏好与限制:order 指定优先顺序,only 限制允许的供应商,allow_fallbacks 默认开启。如果要求只使用某个已验收的供应商,应明确限制候选并设置回退规则。供应商名称还可能覆盖多个端点变体,测试时要检查所选端点,而非只记录品牌名。

直连 Together 则把外部供应商选择固定在 Together,但不等于 serverless 获得了专属硬件或固定延迟。其serverless 说明写明高负载可能触发限流,响应时间会随模型和需求变化。要直接控制预留硬件,应另行评估 dedicated endpoint。固定商业供应商与固定部署资源,是两项不同的采购决定。

例如,问答功能可以接受已验收的备用模型,工具调用却必须保持相同的参数约定。OpenRouter 的模型回退允许按 models 列表依次尝试其他模型;这与同一模型换供应商不同。应分别维护“可替换供应商”和“可替换模型”清单,并检查最终响应中的 model。备用模型未经业务验收,就不应仅因可调用而进入生产回退列表。

重试策略要区分限流、欠费和业务失败

Together 建议对 429 降低请求速率、分散突发流量,对 503 短暂等待后重试,并使用指数退避。其错误说明把 402 归为额度耗尽或达到支出限制。持续重试这类支付问题不能恢复服务,应用需要告警和明确的失败返回。

OpenRouter 能承接配置范围内的供应商或模型回退,减少应用自行编排备用调用的工作。但回退仍要占用用户等待时间,返回了答案也未必通过业务校验。两条路径都应设置总超时、重试上限,并防止工具调用重复产生外部操作。这里讨论的是建议的验收条件,不是已完成的故障演练。

对账要分开推理费、平台费和运行中的副本

OpenRouter 的定价页说明,推理按供应商标价计费,平台费在购买额度时收取:Standard 为5.5%,Business 为8%。因此,模型 token 单价相同,不能推出充值总支出相同。对账时应分别记录推理消耗、充值费用和适用税费;购买额度的现金支出也不等于当月全部已经消耗。

BYOK 又是另一条账路。OpenRouter BYOK 文档与定价页说明,Standard 和 Business 每月包含按标价推理成本计的25,000美元免 BYOK 费用额度,超出部分按同模型、同供应商在 OpenRouter 的标价成本收取5%,从 OpenRouter 余额扣除;Enterprise 额度另议。上游仍直接收取推理费,这个免费额度并不免除上游账单,也不是按请求次数计算。

例如,假设某月 BYOK 标价推理成本为30,000美元,适用上述25,000美元额度,则超额5,000美元对应250美元 BYOK 费用。该算例不包括上游推理账单、为支付费用购买额度产生的费用或税费,也不表示上游合同折扣会改变这项费用的标价计费基数。BYOK 失败时还应核对是否允许转到 OpenRouter 共享端点,避免实际付款路径与预期不同。

Together 直连的文本 serverless 按用量计费;专用推理定价则按每个运行副本的分钟数计费,没有请求时运行中的副本仍会收费。因此不要把 dedicated 的 GPU 小时报价与 serverless 的每百万 token 单价直接比较。先测出业务流量下所需副本数、运行时长和闲置比例,再核算是否值得。本文不假设专用部署天然更便宜。

先确定执行路径,再比较每个合格结果的成本

如果团队经常切换模型和供应商,并愿意维护批准的路由集合,优先验证 OpenRouter;如果主要流量已确定使用 Together 的模型,且需要直接对接其用量、支持或专用资源,优先验证 Together。也可以保留两条路径,但把“OpenRouter 路由到 Together”和“直连 Together”单独记录,否则故障分析与费用比较会混在一起。

上线前,用同一批输入分别核对模型与供应商身份、必要参数、回退后的格式、总等待时间及账单字段。把业务校验通过的结果作为成本分母,同时记录失败和重试消耗。这样比较得到的是应用真正需要的服务成本,而不是两个看似可替换的 API 地址。

内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。

原文出处:openrouter.ai