Auswahlhilfe für EvalCore: Zeigt ein erfolgreicher Replay, wie das neue Modell antwortet?
Drei fiktive Prüfkarten trennen den Erfolg mit einer Aufzeichnung, eine fehlende Aufzeichnung und eine neue Modellausgabe.
Ein Team für Textklassifikation möchte nach einer Änderung der Bewertungsregeln dieselben Fälle unter denselben Bedingungen erneut prüfen. Dafür kommen Aufzeichnung und Replay von EvalCore infrage. Die Projektbeschreibung zu v0.7.5 trennt die Wiedergabe vorhandener Antworten vom Erzeugen neuer Antworten. Laut Replay-Dokumentation meldet der reine Wiedergabemodus einen Fehler, wenn eine passende Aufzeichnung fehlt; er fragt das Modell nicht im Hintergrund. Ein fester Antwortbogen hilft beim Prüfen der Aufgaben und Bewertungskriterien. Es ist keine soeben erzeugte Modellantwort.
Wiedergabe und neue Antwort getrennt erfassen
In einer fiktiven Papierkunstausstellung werden die Stücke nach Form sortiert. Fall A lautet „drei gerade Kanten“, erwartet wird „Dreieck“. Genau das steht in der letzten Aufzeichnung. Fall B lautet „ein Bogen und eine gerade Kante“ und wurde erst später ergänzt, also gibt es keine aufgezeichnete Antwort dazu. Die Karte C stellt eine eigene Frage: Das Team hat das Modell gewechselt. Wird A immer noch als „Dreieck“ gekennzeichnet?

Fiktive Prüfkarten: A lässt sich mit der alten Antwort wiedergeben. Für B fehlt sie. C braucht eine separat erhobene neue Antwort.
Geben Sie die Karten jemandem, der an der Bewertung nicht beteiligt war. A zeigt höchstens, ob die gespeicherte Antwort „Dreieck“ noch als richtig gewertet wird. B bedeutet, dass die Wiedergabe keine passende Aufzeichnung hat, nicht dass das Modell falsch geantwortet hat. C fehlen neue Belege; ein Häkchen für A hilft hier nicht. Das ist eine Übung auf Papier, ohne Ausführung von Software oder Modell.
Ändert sich die Modellkennung, kann eine alte Aufzeichnung außerdem nicht mehr passen. Bei festen, wiederholt geprüften Fällen sind ausdrückliche Meldungen über fehlende Aufzeichnungen nützlich, aber repräsentative Aufzeichnungen müssen gepflegt und geprüft werden. Wer das Verhalten eines neuen Modells beurteilen will, bewertet seine Antworten separat. Für ein Dutzend manuell geprüfter Regeln genügt möglicherweise eine Tabelle, die vorhandene Antworten, Bewertung und neue Antworten trennt.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:github.com