Future AGI 選用指南:審查者都打勾,分類就一定對嗎?

用虛構陶藝展的材質分類,區分評審一致性和與權威定義相符兩項指標。

來源: docs.futureagi.com
November 8, 2026
1 min

Future AGI 在 2025 年 9 月的版本紀錄列出標註一致性分析,官方說明也介紹統計與存取條件。一致性可提示定義是否好理解,但反映的是人與人是否判得一樣,不是是否符合權威定義。

大家可能判得一致,卻一起用錯版本

虛構陶藝展用「已上釉」和「未上釉」標註介紹。最新清單是 A 已上釉、B 未上釉、C 未上釉、D 已上釉。甲乙都用同一張舊卡,把光滑的 C 誤標已上釉,其餘三項都對。四張人與人一致,但每人只和現行清單對上三張。都是原創紙面例子,不測演算法、審查能力或真人表現。

設兩欄:相同輸入在不同審查者間是否一致,以及逐張核對有版本號的參考答案。遮住版本時,把正確性標成待核,不從 4/4 的一致推回。正式定義剛更新時,先看共同誤讀是否集中某一類,不只看完成速度。

何時獨立抽查已足夠

標註量大、交接多且能維護可追溯答案時,值得比較多人統計。只有幾張卡時,小校對表並排列答案和分歧即可。算入寫定義、改版和解決爭議的時間。不連資料、不取用真人樣本、不跑評測或代理。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:docs.futureagi.com