Guía de elección de EvalCore: ¿superar un caso grabado dice cómo responderá el modelo nuevo?
Tres fichas de evaluación en papel separan una reproducción aprobada, un registro ausente y una respuesta nueva del modelo.
Un equipo de clasificación de texto quiere volver a revisar los mismos casos en las mismas condiciones después de cambiar las reglas de corrección. Para ello, vale comparar la grabación y la reproducción de EvalCore. La descripción del proyecto v0.7.5 distingue entre reproducir respuestas existentes y obtener otras nuevas. La documentación de reproducción indica que, en modo de solo reproducción, se informa de un fallo cuando falta un registro coincidente, sin consultar al modelo en segundo plano. Una hoja fija de respuestas sirve para comprobar las preguntas y las reglas; no es una respuesta que el modelo acaba de producir.
Registra por separado la reproducción y la respuesta nueva
Una exposición ficticia de figuras de papel clasifica las piezas por su forma. El caso A dice «tres lados rectos» y espera «triángulo». El último registro también dice «triángulo». El caso B, «un arco y un lado recto», llegó después y no tiene respuesta grabada. La ficha C plantea otra pregunta: tras cambiar de modelo, ¿A seguirá etiquetándose como «triángulo»?

Fichas ficticias: puede reproducirse la respuesta antigua de A, B carece de ella y C exige una nueva respuesta obtenida por separado.
Pide a alguien ajeno a la evaluación que se atenga a las fichas. A permite comprobar si la respuesta registrada «triángulo» todavía puntúa como correcta. En B el sistema de reproducción no encuentra registro; no es una respuesta incorrecta del modelo. C sigue sin evidencia nueva y aprobar A no la proporciona. Es un ejercicio en papel, sin ejecutar software ni modelos.
Al cambiar el identificador del modelo, un registro antiguo también puede dejar de coincidir. Si los casos son fijos y se revisan con frecuencia, el aviso explícito de EvalCore tiene valor, a cambio de mantener y revisar registros representativos. Para saber cómo se comporta el modelo nuevo, evalúa sus propias respuestas aparte. Si solo revisas alrededor de una docena de reglas a mano, una tabla que separe respuestas previas, puntuación y si la respuesta es nueva puede ser suficiente.
Nota sobre el contenido:Este artículo se basa en información pública y sirve como referencia para comparar y elegir herramientas. Las funciones, los precios y las políticas relacionadas pueden cambiar en cualquier momento; consulta la información oficial más reciente.
Fuente original:github.com