EvalCore
AI 애플리케이션의 실제 동작을 기록하고 CI에서 오프라인으로 재생하여 변경으로 인한 회귀를 사용자보다 먼저 발견합니다.
EvalCore 소개
EvalCore는 Apache-2.0 오픈 소스 AI 애플리케이션 평가 도구입니다. 프롬프트를 변경하거나 모델을 전환하거나 종속성을 업그레이드한 후 AI의 실제 동작을 기록하고 기준선과 비교하여 사용자보다 먼저 회귀를 발견합니다. HTTP 또는 shell을 지원하는 모든 서비스를 평가 대상으로 삼을 수 있으며 SDK가 필요 없고 프로그래밍 언어와 무관합니다. 처음 실행할 때 실제 모델을 호출하고 요청과 응답을 로컬 SQLite cassette에 기록합니다. 이후 각 PR은 CI에서 오프라인으로 재생되므로 API 키가 필요 없고 동일한 입력에서 동일한 결론을 얻으며, --baseline main과 함께 회귀가 있을 때만 실패합니다. 이 도구는 종속성 없는 단일 바이너리이며 텔레메트리, 등록, 서버가 필요 없고 공식 페이지에는 CI 사용 비용이 $0로 표시되어 있습니다.
적합한 사용자
적합한 활용 장면
프롬프트나 모델을 변경한 후 AI 애플리케이션 동작이 저하되지 않았는지 확인
PR에 오프라인 회귀 게이트를 구축하여 저하가 발생할 때만 CI가 실패하도록 설정
HTTP 또는 shell로 접근하는 서비스를 위한 평가 데이터 세트 구축
각 평가 실행의 토큰 사용량과 비용 집계
기능
동작 기록
처음 실행할 때 실제 모델을 호출하고 모든 요청과 응답을 로컬 SQLite cassette에 기록하며 토큰 사용량과 비용을 집계합니다.
오프라인 재생
CI에서 네트워크와 API 키 없이 cassette를 재생하며 동일한 입력은 항상 동일한 결론을 냅니다.
기준선 게이트
--baseline main으로 기준선과 비교하고 회귀가 있을 때만 실패합니다. CI는 종료 코드를 게이트로 사용합니다.
폭넓은 호환성
OpenAI, vLLM, Ollama, 모든 OpenAI 호환 게이트웨이, 자체 REST API, shell 명령 및 OTel / OpenInference 추적을 지원합니다.
장점
- 종속성 없는 단일 바이너리로 모든 언어에서 사용 가능
- 오프라인 재생으로 동일한 입력에서 동일한 결론을 얻어 평가 변동을 방지
- Apache-2.0 오픈 소스이며 공식 페이지에는 CI 사용 비용이 $0로 표시됨
- 텔레메트리, 등록, 서버가 필요 없음