Guia de escolha do EvalCore: passar em uma reprodução prova que o novo modelo responderá igual?

Três fichas de avaliação em papel distinguem aprovação com resposta gravada, ausência de registro e resposta nova do modelo.

Fonte: github.com
October 24, 2026
2 min

Uma equipe de classificação de texto quer rever os mesmos casos, nas mesmas condições, depois de mudar as regras de pontuação. A gravação e a reprodução do EvalCore podem ser avaliadas para isso. A descrição do projeto na versão v0.7.5 distingue a reprodução de respostas existentes de uma execução que obtém novas respostas. A documentação de reprodução informa que o modo de somente reprodução sinaliza falha se não houver um registro correspondente, sem consultar o modelo em segundo plano. Uma folha de respostas fixa ajuda a conferir perguntas e regras de pontuação; não é uma resposta que o modelo acabou de dar.

Registre a reprodução e a resposta nova separadamente

Numa exposição fictícia de arte em papel, as peças são classificadas por forma. O caso A diz “três lados retos” e espera “triângulo”. A última resposta gravada diz “triângulo”. O caso B diz “um arco e um lado reto”; foi incluído depois e não tem resposta gravada. O cartão C faz outra pergunta: com o modelo trocado, A ainda será rotulado como “triângulo”?

Article img
Fichas desenhadas para o artigo: A tem resposta antiga, B está em branco e C precisa de resposta nova, não de cópia da resposta de A.

Fichas fictícias: A tem resposta antiga disponível para reproduzir, B não tem e C exige uma resposta nova obtida à parte.

Peça a alguém que não participou da avaliação para usar só as fichas. A indica se o “triângulo” gravado continua sendo marcado como correto. Em B, o sistema de reprodução não encontrou um registro; não foi o modelo que errou. C ainda não tem nova evidência e não pode ser aprovado porque A passou. É um exercício em papel, sem executar software ou modelos.

Se o identificador do modelo mudar, o registro antigo também pode deixar de corresponder. Em verificações repetidas com casos fixos, o aviso explícito do EvalCore tem valor; em troca, é preciso manter e revisar registros representativos. Para entender o novo modelo, avalie as respectivas respostas novas à parte. Para revisar cerca de uma dúzia de regras manualmente, uma tabela que separe respostas existentes, pontuação e se a resposta é nova pode bastar.

Nota sobre o conteúdo:Este artigo foi elaborado com base em informações públicas e serve como referência para a escolha de ferramentas. Os recursos, os preços e as políticas relacionadas podem mudar a qualquer momento; consulte as informações oficiais mais recentes.

Fonte original:github.com