Future AGI選定ガイド:全員の判定が一致すればラベルは正しいのか

架空の陶芸展で、判定者同士の一致と正式な定義への一致を区別します。

ソース: docs.futureagi.com
2026年11月8日
2 min

Future AGIの2025年9月の更新記録には判定者間の一致分析があり、公式説明には統計とアクセス条件があります。一致は定義が理解しやすいかの手掛かりですが、人の判定が同じということであり、正式な定義に合うこととは別です。

全員が同じ旧版を使うこともある

架空の陶芸展で「釉薬あり」「釉薬なし」を付けます。最新一覧はAあり、Bなし、Cなし、Dあり。2人とも同じ旧定義で、表面が滑らかなCをありと誤判定します。他の3件は正解です。4件とも2人の判定は一致しますが、現行一覧と一致するのはそれぞれ3件だけです。紙上の例であり、アルゴリズムや担当者の能力、実在する人の成績を測るものではありません。

同じ入力で判定が一致したか、版番号付きの参照解に各件が合うかを別々の欄にします。参照の版を隠したら、正しさは未確認です。4/4という一致から推測しません。正式定義の更新後は、作業速度だけでなく共通の誤解が特定の分類に偏っていないか確認します。

独立した抜き取り確認で足りる場合

注釈が多く引き継ぎが頻繁で、参照解を追跡できる場合は複数判定者の統計を検討します。カードが数枚なら簡単な表で答えと不一致を並べられます。定義、改版、意見相違の処理時間も見込みます。データ接続、実在の人のサンプリング、評価やエージェント実行はありません。

内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。

元の出典:docs.futureagi.com