BestLLMfor 選用指南:先算兩種上下文的顯示記憶體餘量,再挑本機模型

把公開規格變成候選清單,而不是硬體保證。用兩組虛構預算區分權重、上下文和執行開銷。

來源: bestllmfor.com
September 10, 2026
1 min

當成篩選表,不當跑分

BestLLMfor 2026 年 8 月的顯示卡選用指南先按顯示記憶體級距找候選,再細查模型與量化版本。它的量化說明也把權重和隨上下文增加的 KV 快取分開。這可用來初篩同類文字模型,不能保證你的電腦已通過相容性、速度和回答品質驗收。模型的最大上下文不等於這台電腦實際能容納的上下文。

同一模型用兩張紙算預算

假設一台電腦有標稱 8 GB 的顯示卡,給系統與其他程式保留 1 GB,預算只有 7 GB。候選 A 固定為一個量化版本,假設權重佔 5 GB,執行開銷 0.5 GB。短輸入的快取若佔 0.8 GB,總計 6.3 GB,餘量 0.7 GB;長輸入的快取若佔 2 GB,總計 7.5 GB,超支 0.5 GB。數字只用於說明,並非任何真實模型或硬體的規格。

比較另一個同類文字模型 B 時,用相同的輸入長度、輸出預算與執行環境,分別記錄 A、B 的量化版本。不要把 A 的短輸入和 B 的長輸入相比。初篩只說明 A 的短輸入在預算內、長輸入超支,下一步可比較較輕的量化版本、縮短文件或換較小的同類模型,不能斷定誰的回答較好。

Article img
7 GB 預算下,同一虛構模型的短輸入用 6.3 GB,長輸入用 7.5 GB,圖中分列各項。

原創紙面示意。權重與執行開銷維持不變,只有上下文快取變化;超過預算不代表已測過效能。

什麼時候別用它下決定

模型、框架或量化版本標示不清時,不要以頁面估算為採購依據。若常做很短的純文字工作,現有方案已夠快,保留簡單工具可能比另管一套本機模型省事。若必須處理長文,分開檢查剩餘顯示記憶體、自製樣張正確率與等候時間;自己寫一份虛構目錄,準備幾條答案已知的查找題,事先訂最長等待時間。估算只負責縮小候選範圍;本例不下載模型、不執行軟體。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:bestllmfor.com