Guide de choix EvalCore : rejouer un cas enregistré prouve-t-il que le nouveau modèle répondrait pareil ?
Trois fiches papier distinguent une relecture réussie, un enregistrement absent et une réponse nouvellement obtenue du modèle.
Une équipe de classification de texte souhaite vérifier les mêmes cas, dans les mêmes conditions, après une modification des règles de notation. L’enregistrement et la relecture d’EvalCore méritent d’être comparés. La présentation de la version v0.7.5 distingue le rejeu de réponses existantes d’une exécution qui en obtient de nouvelles. La documentation sur le rejeu précise qu’en mode de relecture seule, l’absence d’un enregistrement correspondant est signalée comme un échec, sans interroger le modèle à l’insu de l’équipe. Une copie fixe sert à vérifier les questions et le barème ; ce n’est pas une copie que le modèle vient de rendre.
Consigner séparément relecture et nouvelle réponse
Une exposition fictive de créations en papier classe les pièces par forme. Le cas A dit « trois côtés droits » et attend l’étiquette « triangle ». La dernière copie enregistrée indique bien « triangle ». Le cas B dit « un arc et un côté droit » ; ajouté plus tard, il n’a pas de réponse enregistrée. La fiche C pose une autre question : l’équipe a changé de modèle et veut savoir si A recevra encore l’étiquette « triangle ».

Fiches fictives : l’ancienne réponse de A peut être rejouée, B n’en possède aucune et C demande d’en obtenir une nouvelle séparément.
Confiez les fiches à quelqu’un qui n’a pas mené l’évaluation et demandez-lui de s’en tenir à leur contenu. A permet de vérifier si la réponse « triangle » enregistrée est toujours jugée correcte. Pour B, le système de relecture n’a pas trouvé d’enregistrement correspondant ; le modèle ne s’est pas trompé. Pour C, aucune nouvelle preuve ne permet de cocher la case même si A réussit. C’est un exercice sur papier, sans exécution d’un logiciel ou d’un modèle.
Si l’identifiant du modèle change, un ancien enregistrement peut également cesser de correspondre. Les absences explicites d’EvalCore sont utiles avec des cas fixes et revus régulièrement, à condition de maintenir et de vérifier un jeu représentatif. Pour juger un nouveau modèle, examinez ses propres réponses séparément. Pour une douzaine de règles vérifiées à la main, un tableau séparant les réponses existantes, la note et le caractère nouveau ou non de la réponse peut suffire.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :github.com