EvalCore 선택 가이드: 기록된 예제를 통과하면 새 모델도 같은 답을 할까?

가상의 종이 평가 카드 세 장으로 재생 통과, 기록 누락, 새 모델의 실제 답변을 구분합니다.

출처: github.com
2026년 10월 24일
4 min

텍스트 분류 팀이 채점 규칙을 바꾼 뒤에도 기존 예제를 같은 조건에서 다시 확인하고 싶다면 EvalCore의 기록 및 재생을 비교해 볼 수 있습니다. v0.7.5 프로젝트 설명은 기존 응답을 재사용하는 재생과 새 응답을 얻는 실행을 구분합니다. 재생 문서에 따르면 기록만 읽는 재생 모드에서 일치하는 기록이 없으면 실패를 알리며, 모델에 몰래 요청하지 않습니다. 고정 답안은 문제와 채점 규칙을 검토하는 자료이지 모델이 방금 낸 답안이 아닙니다.

재생 결과와 새 답변을 별도로 기록하기

가상의 종이 공예 전시에서 작품을 모양별로 분류한다고 합시다. 예제 A는 ‘곧은 변 세 개’이며 기대하는 라벨은 ‘삼각형’입니다. 지난 기록에도 답이 ‘삼각형’으로 남아 있습니다. B는 ‘곡선 하나와 곧은 변 하나’이며 뒤늦게 추가되어 대응하는 기록이 없습니다. C에는 별도 질문이 있습니다. 모델을 바꾼 뒤에도 A에 ‘삼각형’이라는 라벨이 붙는지 알고 싶습니다.

Article img
직접 만든 종이 카드 그림. A에는 이전 답변이 있고, B의 해당 칸은 비어 있으며, C에는 A를 옮기지 말고 새 답변을 받아야 합니다.

가상의 검토 카드: A의 기존 답변은 재생할 수 있고, B의 답변은 기록되지 않았으며, C의 새 답변은 별도로 얻어야 합니다.

평가에 참여하지 않은 동료에게 종이에 적힌 내용만 사용해 판단해 달라고 하세요. A로는 저장된 ‘삼각형’을 채점 규칙이 여전히 정답 처리하는지 볼 수 있습니다. B는 재생 도구에서 일치하는 기록을 못 찾은 경우이며 모델의 오답이 아닙니다. C에는 새 증거가 없으므로 A가 통과했다고 표시할 수 없습니다. 소프트웨어나 모델을 실행하지 않은 종이 연습입니다.

모델 식별자가 바뀌면 이전 기록이 더 이상 일치하지 않을 수도 있습니다. 고정 예제를 반복해서 점검한다면 EvalCore가 누락을 명시한다는 점이 유용하지만 대표성 있는 기록을 관리하고 검토해야 합니다. 새 모델의 동작을 판단하려면 새 답변을 따로 평가하세요. 규칙 열몇 개를 수동으로 검토하는 정도라면 기존 답변, 점수, 새 답변 여부를 표에서 구분하는 것으로 충분할 수 있습니다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:github.com