EvalCore 選定ガイド:記録済みのケースに合格しても、新モデルが同じ答えを出すと言えますか?
三枚の架空の評価カードで、保存済み回答による合格、記録の欠落、新モデルから得た回答を分けて判断します。
テキスト分類を担当するチームが、採点ルールを変更した後も元の事例を同じ条件で確かめたいとします。候補になるのは EvalCore の記録・再生機能です。v0.7.5 のプロジェクト説明は、既存応答を再生する場合と、新しい応答を取得する場合を分けています。再生の文書によれば、再生専用モードで一致する記録がなければ失敗と報告され、裏でモデルに問い合わせません。固定された解答は設問や採点の確認に使えますが、モデルの新しい解答ではありません。
再生と新しい解答を別々に記録する
架空の紙工作展で作品を形ごとに分類します。A は「直線の辺が三つ」で、期待ラベルは「三角形」です。前回保存した解答にも「三角形」とあります。後から追加された B は「弧が一つと直線の辺が一つ」で、対応する解答は未記録です。C は別の問いです。チームがモデルを変更した後も A が「三角形」になるか、確かめたいとします。

架空の確認カード。A の旧解答は再生できる。B には旧解答がなく、C は新しい解答を別に得る必要がある。
評価に参加していない同僚に、カード上の情報だけで判断してもらいます。A では記録された「三角形」が今も正解と採点されるか確かめられます。B は再生の仕組みに合う記録が見つからないだけで、モデルの誤答ではありません。C には新たな証拠がなく、A の合格を根拠に済みとはできません。紙上の演習であり、ソフトウェアもモデルも実行していません。
モデルの識別情報が変わると、古い記録が一致しなくなる場合もあります。固定した例を繰り返し確認するなら EvalCore が欠落を明示する点は有用ですが、代表的な記録を維持し確認する仕事は残ります。新モデルの挙動を知るなら、そのモデルの解答を別途評価します。十数件の規則を人手で確認するだけなら、既存解答、採点結果、新規解答かどうかを表で分ければ足りることもあります。
内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。
元の出典:github.com