EvalCore 選用指南:舊案例重播通過,能證明新模型也會這樣回答嗎?

用三張紙本評估卡區分固定案例通過、缺少錄製紀錄和新模型實際作答,再挑選適當的驗證方式。

來源: github.com
October 24, 2026
1 min

文字分類團隊想知道,調整評分規則後,原有案例還能不能在同樣條件下重新檢查。這時可以比較 EvalCore 的錄製與重播方式。v0.7.5 版專案說明區分重用舊回應的重播,以及另外取得新回應的執行方式。重播文件說明,只讀取錄製結果的模式若找不到相符紀錄,會回報失敗,不會默默去問模型。固定答卷適合檢查題目與評分規則,不是模型剛交的新答卷。

把重播結果和新作答分開記

假設有個紙藝展,展品依形狀分類。案例 A 寫「三條直邊」,預期標籤是「三角形」,上一輪錄製的答卷也寫「三角形」。案例 B 寫「一條弧邊加一條直邊」,是後來新增的,沒有相符的錄製答卷。C 卡則另問一件事:團隊已換模型,想確認 A 還會不會被標成「三角形」。

Article img
原創紙卡:A 有舊答卷,B 的舊答卷格空白,C 要新答卷,不能直接沿用 A。

虛構核對卡:A 的舊答卷可重播;B 沒有舊答卷;C 需要另外取得新答卷。

把卡片交給沒參與評估的同事,只依紙卡填答:A 可檢查評分規則還會不會判「三角形」正確;B 是重播框架找不到相符紀錄,不是模型答錯;C 還沒有新證據,不能因為 A 通過就勾選。這是紙本演練,沒有執行軟體或模型。

換模型後,模型識別資訊變動也可能讓舊紀錄不再相符。案例固定又得反覆複核時,EvalCore 清楚回報缺少紀錄,有其價值,代價是團隊必須維護、複核具代表性的錄製案例。想了解新模型真實表現,就把新答卷另列一項驗證。若只人工審十來條規則,可先在試算表分開「既有答卷」「評分結果」「是不是新答卷」,未必需要另一套工具。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:github.com