Baseten 與 BentoML:自有模型交付,選代管發布還是自管容器?
Baseten 適合希望由平台承接端點與發布環境的團隊,BentoML 適合已有容器維運能力、想自行管理模型交付物的團隊。BentoCloud 已標示逐步退場,不能再依舊文件將兩者當成現售代管服務直接比較。
團隊已訓練好模型,要提供給產品呼叫,並在新版本出錯時恢復舊版。這個階段選 Baseten 還是 BentoML,關鍵是由誰接手模型套件之後的執行環境與發布系統。需要現成的代管端點、環境切換與擴縮管理,可以優先評估 Baseten;已有容器平台與值班能力,希望自行掌握部署路線,則值得評估 BentoML。
比較前有一項會改變採購決定的事實:BentoCloud 官方文件已明確標示該文件分支封存、BentoCloud 正在逐步退場。舊頁面中的部署與回復按鈕,不能視為今日可新購代管服務的承諾。因此,本文比較 Baseten 代管部署與 BentoML 開源自管交付;既有 BentoCloud 使用者還須向服務方確認自己的合約、支援期限與遷出安排。
交給同事的,應是能重新部署的模型版本
設想一個用於客服工單分類的自有模型:除了權重,還包含斷詞器、前處理程式碼與 Python 相依套件。某次更新只改了相依套件,預測結果卻變了。如果交接物只有「模型最新版」的下載位址,接手同事很難重建上一個可用服務。這個假設情境要求團隊一併保留權重版本、執行相依套件與服務設定,並用固定樣本確認輸出。
Baseten 使用開源 Truss 組織模型交付。其設定文件允許在 config.yaml 定義相依套件與資源;Python 相依套件可使用內嵌 requirements 或 requirements_file,兩者不能同時使用。選擇 uv.lock 時,同一目錄還需要搭配 pyproject.toml。對已維護相依鎖定檔的團隊,這是將開發環境限制帶入部署建置的途徑,而非上傳權重後讓平台猜測執行環境。
模型權重也需要固定。Baseten 的模型服務範例將指定修訂版的權重、帶版本的服務容器、健康檢查與資源設定連接起來。由此得到的交付要求是:記錄權重的確切修訂版與容器版本,保留載入路徑及介面設定。即使控制台裡的模型名稱不變,也要能說明本次部署究竟載入了什麼。
BentoML 以 Bento 封裝服務原始碼、Python 相依套件、模型產物與設定;打包文件說明建置後會指派唯一版本,再透過容器化產生可於 Docker 相容環境執行的映像檔。執行環境文件支援指定 Python、系統相依套件及 Python 套件,預設啟用 Python 套件版本鎖定。它更適合將交付物納入既有映像檔儲存庫與部署系統,但團隊仍應保留不會混淆的 Bento 版本與映像檔識別碼,不要只在交接紀錄中寫 latest。
這裡的 BentoML 並未隨 BentoCloud 一起退場:官方儲存庫標示 Apache-2.0 授權,發布紀錄仍有包含修復的版本。開源程式庫與目前的容器化文件能支援自管路線的評估,但不構成長期維護、代管可購或正式環境支援的保證。模型權重與其他相依套件各自的授權,也仍須另行檢查。
發布成功,還要知道線上端點指向哪一版
Baseten 的 deployment 有自己的 ID、模型產物與端點;published deployment 的模型產物不會即時熱更新,程式碼或建置設定變動時需要重新推送。它也可不關聯環境就接受請求。因此,候選部署已能回覆測試請求,不能單獨證明產品正在使用它。
環境機制提供穩定端點,以及獨立的擴縮、監控與提升設定。將部署提升至環境,才能改變該環境端點服務的版本;提升過程可能重用部署,也可能建立新的部署 ID。實際驗收應核對環境指向,再向產品使用的穩定位址傳送測試請求。需要恢復舊版時,應保留先前可用的部署並重新提升它;不能把刪除舊版後的「重新建置」視為同等可靠的恢復準備。
在 BentoML 自管路線中,Bento 版本與容器映像檔解決的是可識別的交付物。流量如何轉向新映像檔、失敗如何回復、舊映像檔保留多久,都須由團隊選擇的容器平台與發布流程落實。BentoCloud 封存文件曾提供的部署修訂版回復,不能直接算作開源程式庫已替你執行的發布服務。如果團隊沒有人維護映像檔儲存庫、網路入口與監控,模型套件再整齊也補不上這些職責。
對前述分類模型,可用一次小範圍發布演練來選型:讓另一位同事拿到上一版交付物與設定,部署至測試環境;再發布修改前處理邏輯的候選版本,檢查固定樣本,最後恢復舊版並確認產品端點的結果。記錄需要哪些權限、哪些步驟依賴原作者,以及恢復時是否重新下載會變動的外部檔案。這是建議的驗證任務,本文未實際執行,也不據此提供恢復時間或效能保證。
預算須包含執行責任,開源授權不提供免費代管
Truss 開源不代表免除 Baseten 服務費用。Baseten 計費說明區分初始試用額度與正常用量計費,並明確指出沒有永久免費方案。評估時應按實際執行個體與執行時間計算,也要考慮測試環境、保留舊版,以及發布期間同時執行新舊副本的資源需求;不要用一次成功請求的費用代表整條發布流程。
BentoML 的開源授權同樣不提供免費 BentoCloud 代管。自管預算應包括運算資源、映像檔儲存、網路、監控與維護人員;如果內部平台已提供這些能力,新增串接成本可能更容易控制,但仍須確認誰處理擴容、漏洞更新與事故。僅憑開源二字,無法判斷它一定比代管便宜。
最後可將選擇落在交接對象上:希望同事接手的是模型程式碼與已設定好的代管發布環境,優先驗證 Baseten;希望交接的是可版本化、可容器化的模型服務,而且團隊能負責其執行平台,優先驗證 BentoML。已使用 BentoCloud 的團隊應先核實服務退場安排,再決定保留 BentoML 自管或遷往代管平台。兩條路線都須將權重、相依套件、服務設定與線上版本對應起來,這才是模型能重複交付的基礎。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:docs.bentoml.com