Future AGI 선택 가이드: 검토자 전원이 같게 분류하면 정답일까?

가상의 도예 전시로 검토자끼리의 일치와 공식 정의에 맞는지를 구분합니다.

출처: docs.futureagi.com
2026년 11월 8일
3 min

Future AGI의 2025년 9월 릴리스 노트는 주석 일치도 분석을 소개합니다. 공식 안내는 통계와 접근 조건을 설명합니다. 일치도는 정의가 이해하기 쉬운지 판단하는 단서지만 사람들이 판단을 같이했는지, 공식 정의와 맞았는지는 다릅니다.

모두 같은 옛 버전을 볼 수 있다

가상 도예 전시에서 ‘유약 처리’와 ‘유약 미처리’를 붙입니다. 최신 목록은 A 처리, B 미처리, C 미처리, D 처리입니다. 두 검토자가 같은 옛 기준으로 매끈한 C를 처리로 잘못 분류하고 나머지 셋은 맞힙니다. 네 건 모두 두 사람의 결정이 같지만 최신 목록과는 각각 세 건만 일치합니다. 종이 예시일 뿐 알고리즘, 검토자 능력이나 실제 개인의 성과를 측정하지 않습니다.

같은 입력에 대한 검토자 일치와 버전 있는 참조 답안과의 일치를 두 칸에 따로 적습니다. 참조 버전을 가렸다면 정확성은 미확인으로 둡니다. 4/4 일치에서 추정하지 않습니다. 공식 정의가 바뀌었다면 속도만 보지 말고 공통 오해가 특정 분류에 몰렸는지 확인합니다.

독립적인 표본 점검이면 충분한 경우

주석이 많고 검토 인계가 잦으며 추적 가능한 답안을 유지할 수 있다면 여러 검토자 통계를 비교하세요. 카드 몇 장이면 작은 표에 답과 이견을 나란히 적으면 됩니다. 정의 작성, 버전 변경과 이견 처리 시간도 포함하세요. 데이터 연결, 실제 사람 표본, 평가나 에이전트 실행은 없습니다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:docs.futureagi.com