Guia de escolha do EvalCore: passar em uma reprodução prova que o novo modelo responderá igual?
Três fichas de avaliação em papel distinguem aprovação com resposta gravada, ausência de registro e resposta nova do modelo.
Uma equipe de classificação de texto quer rever os mesmos casos, nas mesmas condições, depois de mudar as regras de pontuação. A gravação e a reprodução do EvalCore podem ser avaliadas para isso. A descrição do projeto na versão v0.7.5 distingue a reprodução de respostas existentes de uma execução que obtém novas respostas. A documentação de reprodução informa que o modo de somente reprodução sinaliza falha se não houver um registro correspondente, sem consultar o modelo em segundo plano. Uma folha de respostas fixa ajuda a conferir perguntas e regras de pontuação; não é uma resposta que o modelo acabou de dar.
Registre a reprodução e a resposta nova separadamente
Numa exposição fictícia de arte em papel, as peças são classificadas por forma. O caso A diz “três lados retos” e espera “triângulo”. A última resposta gravada diz “triângulo”. O caso B diz “um arco e um lado reto”; foi incluído depois e não tem resposta gravada. O cartão C faz outra pergunta: com o modelo trocado, A ainda será rotulado como “triângulo”?

Fichas fictícias: A tem resposta antiga disponível para reproduzir, B não tem e C exige uma resposta nova obtida à parte.
Peça a alguém que não participou da avaliação para usar só as fichas. A indica se o “triângulo” gravado continua sendo marcado como correto. Em B, o sistema de reprodução não encontrou um registro; não foi o modelo que errou. C ainda não tem nova evidência e não pode ser aprovado porque A passou. É um exercício em papel, sem executar software ou modelos.
Se o identificador do modelo mudar, o registro antigo também pode deixar de corresponder. Em verificações repetidas com casos fixos, o aviso explícito do EvalCore tem valor; em troca, é preciso manter e revisar registros representativos. Para entender o novo modelo, avalie as respectivas respostas novas à parte. Para revisar cerca de uma dúzia de regras manualmente, uma tabela que separe respostas existentes, pontuação e se a resposta é nova pode bastar.
Nota sobre o conteúdo:Este artigo foi elaborado com base em informações públicas e serve como referência para a escolha de ferramentas. Os recursos, os preços e as políticas relacionadas podem mudar a qualquer momento; consulte as informações oficiais mais recentes.
Fonte original:github.com