Grok 4.6 選用指南:呼叫 Bedrock 的區域不一定是推論發生的區域
用三筆虛構工單判斷該選 Oregon Mantle,還是用 Runtime 保留 Converse;比較資料邊界與驗證成本,不只看單價。
從北維吉尼亞呼叫 Bedrock,不代表推論在北維吉尼亞執行。選 Grok 4.6 前先分開看兩件事:哪些區域可以處理資料,以及回應格式由服務端約束,還是由應用程式驗證。如果兩項都是硬性要求,先確認同一條路徑能滿足兩者,再看價格。
兩種端點,各自保留什麼
AWS 的發布說明介紹同一個 xAI 模型的兩種 Bedrock 端點。Grok 4.6 模型卡列出商用 AWS Oregon 的 bedrock-mantle 可在 us-west-2 區域內推論,並支援 JSON Schema 結構化輸出。現有 AWS SDK 流程若已用 Converse,bedrock-runtime 可以保留這個介面。不過,Grok 4.6 在該端點僅支援跨區推論,不提供同樣的服務端結構化輸出。即使從北維吉尼亞使用 US Geo,也可能路由至 Ohio 或 Oregon。這裡只比較商用 AWS,不套用到 GovCloud。
用三筆紙上工單決定
虛構三筆設備維修工單,只允許回傳 ticket_id 和 category;後者限於 power、display 或 other。第一筆模擬正常回應,第二筆多一個欄位,第三筆回傳類別 battery。先不呼叫模型:寫下允許的目的區域,確認解析器接受第一筆、拒絕後兩筆並交人工複核。再分別畫出兩種配置:Mantle 標出 Oregon 與服務端 Schema;Runtime 標出 Converse、選定推論設定的所有候選地區與應用驗證。服務端約束格式並不保證分類正確,仍須核對工單編號與分類依據。
AWS 計價頁連到模型卡上的 Grok 4.6 費率。假設用 Standard、1,000 萬未快取輸入 token 和 100 萬輸出 token,不含重試或其他費用。依每百萬 token 的輸入/輸出費率,區域內和 Geo 為 2.20/6.60 美元,合計 28.60 美元;Global 為 2.00/6.00 美元,合計 26.00 美元。這是預算算例,不是帳單或實測。必須等政策允許 Global 目的地、團隊能處理驗證、拒收和複核,較低的單價才有意義。
如果推論只能在北維吉尼亞且必須用服務端 Schema,或必須同時保留 Converse 和服務端 Schema,兩種端點都不能直接替換。保留現有實作,或找另一個已確認滿足兩項要求的模型。若允許 Oregon 且重視輸出契約,先核查 Mantle;若 Converse 不可更換,則在跨區目的地和異常處理都過關後再評估 Runtime。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:aws.amazon.com