OpenRouter 與 Together AI:切換模型 API 時,先分清路由、直連與帳單
需要跨供應商切換與備援時,OpenRouter 更值得驗證;已選定 Together 模型或專用資源時,直連更方便釐清服務路徑。選擇時應一併核對參數是否生效、備援範圍、BYOK 費用與專用副本成本,不能只比較 token 單價。
應用程式已串接聊天模型,現在想為摘要、問答與工具呼叫分別挑選模型。OpenRouter 適合希望保留多家推論供應商選擇、統一串接與備援入口的團隊;Together AI 更適合已選定其支援的模型,希望直接管理推論帳戶,或進一步購買專用部署的團隊。兩者的前提都是先驗收具體請求,不能把「相容 OpenAI API」視為行為完全一致。
兩者也不是互不重疊的模型庫:Together 本身就是 OpenRouter 的供應商之一。同一模型可能透過 OpenRouter 路由至 Together,也可能由應用程式直連 Together。真正要選擇的是誰負責選上游、如何固定執行路徑,以及帳單在哪一層產生。不包含延遲、可用性或輸出品質實測。
改完位址,還要核對參數是否真正生效
假設應用程式需要串流回覆、工具呼叫與固定格式輸出。遷移驗收應使用同一組具代表性的輸入,檢查這些行為與用量欄位,而非看到一次成功回覆就擴大流量。還須分別確認兩邊的模型識別碼、版本與端點,不能只比較模型顯示名稱。
Together 的相容性說明允許 OpenAI 用戶端使用 Together 金鑰與 https://api.together.ai/v1。但它明確寫出 service_tier、store、metadata 與 prediction 會被接受卻忽略,seed 只盡力遵循,不保證跨副本、版本或負載條件的確定性。若應用程式依賴這些參數的實際作用,直連也需要調整;回傳成功不代表限制條件已生效。
OpenRouter 則多一層上游選擇。其供應商路由文件提供 require_parameters: true,用來排除不支援所傳參數的供應商。這可將參數支援變成路由條件,但不能保證模型產生的結果符合業務要求。應將嚴格驗證保留在應用程式中,並把路由篩選失敗視為需要處理的結果,不能為恢復成功率而悄悄放寬限制。
固定供應商,會縮小自動備援空間
OpenRouter 的同一份文件區分偏好與限制:order 指定優先順序,only 限制允許的供應商,allow_fallbacks 預設開啟。若要求只使用某個已驗收的供應商,應明確限制候選並設定備援規則。供應商名稱還可能涵蓋多種端點變體,測試時要檢查所選端點,而非只記錄品牌名稱。
直連 Together 則將外部供應商選擇固定為 Together,但不代表 serverless 就取得專屬硬體或固定延遲。其 serverless 說明寫明高負載可能觸發流量限制,回應時間會隨模型與需求變化。要直接控制預留硬體,應另行評估 dedicated endpoint。固定商業供應商與固定部署資源,是兩項不同的採購決定。
例如,問答功能可以接受已驗收的備用模型,工具呼叫卻必須維持相同的參數約定。OpenRouter 的模型備援允許依 models 清單逐一嘗試其他模型;這與同一模型更換供應商不同。應分別維護「可替換供應商」與「可替換模型」清單,並檢查最終回應中的 model。備用模型未經業務驗收,就不應只因為能呼叫而列入正式環境的備援清單。
重試策略須區分流量限制、欠費與業務失敗
Together 建議遇到 429 時降低請求速率、分散突發流量,遇到 503 時短暫等待後重試,並採用指數退避。其錯誤說明將 402 歸為額度耗盡或達到支出限制。持續重試這類付款問題無法恢復服務,應用程式需要告警與明確的失敗回傳。
OpenRouter 可承接設定範圍內的供應商或模型備援,減少應用程式自行編排備用呼叫的工作。但備援仍會占用使用者等待時間,回傳答案也未必通過業務驗證。兩條路徑都應設定總逾時與重試上限,並避免工具呼叫重複產生外部操作。這裡討論的是建議的驗收條件,並非已完成的故障演練。
對帳須分開推論費、平台費與執行中的副本
OpenRouter 的定價頁說明,推論依供應商標價計費,平台費在購買額度時收取:Standard 為 5.5%,Business 為 8%。因此,模型 token 單價相同,不能推論儲值總支出相同。對帳時應分別記錄推論消耗、儲值費用與適用稅費;購買額度的現金支出也不等於當月已全數消耗。
BYOK 又是另一條帳務路徑。OpenRouter BYOK 文件與定價頁說明,Standard 與 Business 每月包含依標價推論成本計算的 25,000 美元免 BYOK 費用額度,超出部分依同模型、同供應商在 OpenRouter 的標價成本收取 5%,從 OpenRouter 餘額扣除;Enterprise 額度另議。上游仍直接收取推論費,這項免費額度不免除上游帳單,也不是依請求次數計算。
例如,假設某月 BYOK 標價推論成本為 30,000 美元,適用上述 25,000 美元額度,超額 5,000 美元就對應 250 美元 BYOK 費用。此算例不包含上游推論帳單、為支付費用而購買額度產生的費用或稅費,也不代表上游合約折扣會改變這項費用的標價計費基礎。BYOK 失敗時,也應核對是否允許轉至 OpenRouter 共用端點,避免實際付款路徑與預期不同。
Together 直連的文字 serverless 依用量計費;專用推論定價則按每個執行中副本的分鐘數計費,沒有請求時,仍在執行的副本照樣收費。因此,不要將 dedicated 的 GPU 小時報價與 serverless 的每百萬 token 單價直接比較。應先量測業務流量下所需副本數、執行時間與閒置比例,再核算是否值得。本文不假設專用部署天生比較便宜。
先確定執行路徑,再比較每個合格結果的成本
如果團隊經常切換模型與供應商,且願意維護已核准的路由集合,應優先驗證 OpenRouter;如果主要流量已確定使用 Together 的模型,且需要直接對接其用量、支援或專用資源,應優先驗證 Together。也可以保留兩條路徑,但須分開記錄「OpenRouter 路由至 Together」與「直連 Together」,否則故障分析與費用比較會混在一起。
上線前,使用同一批輸入分別核對模型與供應商身分、必要參數、備援後格式、總等待時間與帳單欄位。以通過業務驗證的結果作為成本分母,同時記錄失敗與重試的消耗。這樣比較得到的才是應用程式真正需要的服務成本,而非兩個看似可替換的 API 位址。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:openrouter.ai