EvalCore 选用指南:旧样例回放通过,能证明新模型也会这样回答吗?
借三张纸面评估卡,区分固定样例通过、缺失录制证据和新模型实际作答,选择合适的验证方式。
来源: github.com
2026年10月24日
2 min
做文字分类的团队想知道,评估规则修改后,原有的一批样例还能不能按同样条件复核。这时可以比较 EvalCore 的录制与回放方式。v0.7.5 版本的项目说明区分了重复使用既有响应的回放,与取得新响应的运行方式;回放文档明确说,只读录制结果的模式找不到匹配记录时会报告失败,不会默默去问模型。固定答卷适合检查试题和评分规则,不是模型刚答完的新答卷。
把回放与新作答分开记
虚构的纸艺展给展件按形状分类。样例 A 写的是「三条直边」,期待标签是「三角形」。上次录制保存的答卷确实写了「三角形」。样例 B 写的是「一条圆弧加一条直边」,它是后来加入的,没有对应的录制答卷。再单列一张 C 卡:团队已换模型,想确认 A 是否仍会被标为「三角形」。

虚构核验卡:A 的旧答案可以用于回放;B 的旧答案不存在;C 要的是一份另外取得的新答案。
把三项交给没参与本轮评估的同事,请他只按已有纸卡填写:A 可检验评分是否仍把记载的「三角形」判对;B 是回放框架没有匹配记录,不是模型答错;C 还没有新证据,不能因 A 获得通过而打勾。这是纸面验收演练,未运行任何软件或模型。
更换模型后,录制记录也可能因模型标识变了而不再匹配。用例固定且需要多次复核时,EvalCore 的明确缺失提示有价值,代价是团队要维护、复核代表性的录制样例。需要判断模型更换后的真实表现时,把新模型的答卷列成另一项验证;若只是手工审读十来条规则,可以先用表格把「已有答卷」「评分结果」和「是否为新答卷」分列,未必需要另一套工具。
内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。
原文出处:github.com