Featherless 選用指南:同樣三項任務,為什麼需要的並行額度不同?
比較 Featherless 的託管模型時,分開核對尖峰的並行額度和各模型每次請求的用量,不用月請求量或目錄大小代替容量判斷。
每個月只做幾十次文字整理,不代表同時來的工作都放得下。Featherless 的方案文件區分固定並行單位的聊天方案,以及按模型和用量扣除額度的開發者方案。也要分別核對各候選模型,因為不同模型可能占用不同數量的並行單位。選託管服務時,先想最忙的時候有哪些請求需要同時處理,而不是只算目錄有幾項。
用四個格子核對同一批文字整理
假設一間虛構的展品資料室,要在同一時段整理三份標籤短稿。用四個格子代表假想的並行額度,再做三張候選任務卡:兩張各占一格,一張占兩格。同時放上去,1 加 1 加 2 剛好是 4。將兩格卡換成四格卡,仍是三項工作,合計卻變成 6。即使先放兩張一格卡,剩下的兩格也放不下四格卡。如果等一張結束再排下一張,那是允許等待的另一種做法,不能算「同時放得下」。

圖:虛線左側四格在額度內,右側兩格超出額度。兩組都是紙上假設,不是方案或模型的配額。
可在紙上分開記三項:每類任務所用模型的占用、必須同時開始的數量,以及哪些可以等待。先確認需要同時執行的卡片都放得下,再看改為依序處理後是否仍在可接受的等待範圍。例子只做容量加法,沒有實際呼叫模型,不代表實際速度或能使用哪個模型。查看真實方案時,應核對相關模型頁和方案限制,不要把示例的一格、兩格、四格直接套給任意模型。
什麼時候值得為並行能力付費?
如果需要不同模型同時處理切分清楚的短稿,又不想維護推論設備,可以把 Featherless 的託管目錄列入比較。若只用一種固定模型,每批也能依序處理,先比較可接受的等待時間,以及做完一項再開始下一項的簡單方案,不必為偶爾出現的三張卡加額度。如果輸入不能交給外部服務,應先排除託管方式,評估獲准的本機或內網方案。並行額度夠不夠只是容量問題,模型品質和計費仍要分開查。各方案允許的使用方式未必相同,不能看到格數足夠就認定可用於自動化流量。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:featherless.ai