EvalCore 선택 가이드: 기록된 예제를 통과하면 새 모델도 같은 답을 할까?
가상의 종이 평가 카드 세 장으로 재생 통과, 기록 누락, 새 모델의 실제 답변을 구분합니다.
텍스트 분류 팀이 채점 규칙을 바꾼 뒤에도 기존 예제를 같은 조건에서 다시 확인하고 싶다면 EvalCore의 기록 및 재생을 비교해 볼 수 있습니다. v0.7.5 프로젝트 설명은 기존 응답을 재사용하는 재생과 새 응답을 얻는 실행을 구분합니다. 재생 문서에 따르면 기록만 읽는 재생 모드에서 일치하는 기록이 없으면 실패를 알리며, 모델에 몰래 요청하지 않습니다. 고정 답안은 문제와 채점 규칙을 검토하는 자료이지 모델이 방금 낸 답안이 아닙니다.
재생 결과와 새 답변을 별도로 기록하기
가상의 종이 공예 전시에서 작품을 모양별로 분류한다고 합시다. 예제 A는 ‘곧은 변 세 개’이며 기대하는 라벨은 ‘삼각형’입니다. 지난 기록에도 답이 ‘삼각형’으로 남아 있습니다. B는 ‘곡선 하나와 곧은 변 하나’이며 뒤늦게 추가되어 대응하는 기록이 없습니다. C에는 별도 질문이 있습니다. 모델을 바꾼 뒤에도 A에 ‘삼각형’이라는 라벨이 붙는지 알고 싶습니다.

가상의 검토 카드: A의 기존 답변은 재생할 수 있고, B의 답변은 기록되지 않았으며, C의 새 답변은 별도로 얻어야 합니다.
평가에 참여하지 않은 동료에게 종이에 적힌 내용만 사용해 판단해 달라고 하세요. A로는 저장된 ‘삼각형’을 채점 규칙이 여전히 정답 처리하는지 볼 수 있습니다. B는 재생 도구에서 일치하는 기록을 못 찾은 경우이며 모델의 오답이 아닙니다. C에는 새 증거가 없으므로 A가 통과했다고 표시할 수 없습니다. 소프트웨어나 모델을 실행하지 않은 종이 연습입니다.
모델 식별자가 바뀌면 이전 기록이 더 이상 일치하지 않을 수도 있습니다. 고정 예제를 반복해서 점검한다면 EvalCore가 누락을 명시한다는 점이 유용하지만 대표성 있는 기록을 관리하고 검토해야 합니다. 새 모델의 동작을 판단하려면 새 답변을 따로 평가하세요. 규칙 열몇 개를 수동으로 검토하는 정도라면 기존 답변, 점수, 새 답변 여부를 표에서 구분하는 것으로 충분할 수 있습니다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:github.com