Promptfoo와 DeepEval: 프롬프트 개편 후 회귀 실패가 실제로 병합을 막게 하려면
Promptfoo는 설정으로 프롬프트와 모델 조합을 검토하는 데, DeepEval은 평가를 Python 테스트에 연결하는 데 적합하다. 핵심은 개별 점수, 전체 통과율, 실제 병합을 막는 CI 검사를 구분하고 사례와 평가 모델의 기준선을 고정하는 것이다.
프롬프트를 간결하게 바꾸자 몇몇 데모 답변은 좋아졌지만 주문 필드가 빠지기 시작했다. 릴리스를 담당하는 사람은 어느 과거 사례가 계속 통과해야 하고 실패하면 누가 병합을 막는지 알아야 한다. Promptfoo와 DeepEval 모두 모델 출력을 자동 테스트로 바꿀 수 있지만, 가장 유용한 차이는 테스트 규칙을 어디에 두고 실패를 어떻게 CI에 전달하는가다.
프롬프트, 모델, 사례를 검토 가능한 설정 하나에 넣어 나란히 비교하려면 Promptfoo를 우선 평가하자. 앱에 Python 테스트, 데이터 준비, 업무 단언이 이미 있다면 여기에 평가를 넣는 DeepEval이 더 적합하다. 아래 내용은 공식 자료에 근거하며 실행 효과 순위가 아니다.
먼저 어떤 제품을 비교하는지 확인하자
Promptfoo의 인수 발표는 오픈소스 도구를 계속 유지하고 여러 모델을 지원하겠다고 명시한다. 현재 저장소는 OpenAI의 일부가 되었으며 여전히 MIT 라이선스로 공개된다고 설명한다. 이를 근거로 제품이 종료되었다거나 OpenAI 모델만 테스트할 수 있다고 추론해서는 안 된다. DeepEval의 공식 저장소는 오픈소스 평가 프레임워크를 제공하고, 호스팅 플랫폼 Confident AI는 별도의 서비스 계층이다.
두 제품 모두 출시 전 회귀 검사에 들어갈 수 있다. 이 글은 프롬프트 개편 후 확인된 동작을 지키는 방법만 비교하며, 레드팀 기능 수나 운영 모니터링 기능, 공급자 벤치마크 점수로 이 선택을 대신하지 않는다.
실패 규칙은 누가 유지할까
Promptfoo의 소개와 단언 문서에 따르면 CLI 또는 라이브러리로 평가를 실행하고 동등 조건, JSON 구조, 사용자 지정 함수를 검증할 수 있다. 설정 방식은 이전 프롬프트와 새 프롬프트를 같은 사례 묶음에서 비교하기 편하다. 대신 복잡한 데이터 준비와 업무 판단에는 여전히 코드가 필요하며 YAML이 주문 규칙을 자동으로 이해하지는 않는다.
DeepEval의 CI 단위 테스트 문서는 데이터 로드, 테스트 사례 구성, 실행을 나눈다. CSV, JSON 또는 코드에서 사례를 가져와 assert_test로 테스트에 연결한 뒤 deepeval test run으로 실행할 수 있다. 기존 Python 테스트 관리자는 같은 책임 체계를 활용할 수 있지만 제품 담당 동료가 테스트 함수를 직접 수정할 수 있다고 보장할 수는 없다. 설정 중심과 Python 중심은 주된 작업 방식의 차이지 두 제품 능력의 절대적 경계가 아니다.
예를 들어 고객 지원 요약에는 order_id가 반드시 들어가고 ‘환불 신청’을 ‘환불 입금 완료’라고 쓰면 안 된다고 가정하자. 전자는 구조나 명확한 규칙으로 먼저 검사하고, 후자는 명시적 기준을 갖춘 모델 평가를 고려하자. 확정적으로 검증할 조건을 먼저 분리하면 모호한 ‘품질 점수’ 하나에 형식과 업무 의미를 모두 맡기는 일을 피할 수 있다.
점수가 있다고 병합을 막는 것은 아니다
Promptfoo의 GitHub Action은 fail-on-threshold를 제공하며 단위는 전체 테스트의 통과 백분율이고 범위는 0부터 100이다. 반면 DeepEval의 G-Eval은 개별 지표에 threshold를 설정할 수 있으며 threshold=None은 점수만 매기는 모드다. 전체 통과율과 개별 지표 점수는 0.9나 90%로 쓰여 있어도 같은 양으로 비교할 수 없다.
가령 같은 가중치의 테스트 100개가 있다면 전체 통과율 95%에서도 5개가 실패할 수 있다. 주문 번호 누락을 절대 허용할 수 없다면 이런 핵심 테스트는 따로 반드시 통과하도록 해야 하며 평균에 가려지게 해서는 안 된다. 이는 팀이 설계할 릴리스 정책이지 프레임워크를 고르면 자동으로 얻는 보장이 아니다.
DeepEval 문서는 assert_test가 포함된 단위 테스트와 evaluate도 구분한다. 전자는 지표가 기준에 못 미치면 테스트를 실패시키지만, 후자는 결과를 수집할 뿐 스스로 빌드를 실패시키지 않는다. 어느 제품을 쓰든 실패가 CI 실패 상태를 만들고 그 검사가 병합 전 필수로 설정되어 있는지 검증해야 한다. 보고서 파일이 있거나 페이지에 빨간 점수가 있다고 병합이 차단된다는 증거는 아니다.
평가 모델을 고정해야 신구 차이를 설명할 수 있다
Promptfoo의 llm-rubric은 평가 provider와 관련 매개변수를 명시적으로 지정할 수 있다. DeepEval의 G-Eval은 model과 evaluation_steps 지정을 지원하며 단계를 주지 않으면 criteria에 따라 생성한다. 회귀 비교에서는 마지막 숫자만이 아니라 평가 모델, 규칙, 단계를 보존해야 한다. 모델 평가는 규칙에 따른 판단이며 사실의 정답이나 사람이 판정한 정확도로 바로 간주할 수 없다.
앱 커밋, 프롬프트, 사례 스냅샷, 기대 출력, 평가 라이브러리 버전, 평가 모델, 채점 규칙을 하나의 기준선으로 저장하는 것을 권한다. 모델 버전도 고정할 수 있으면 고정하고 샘플링과 캐시 설정을 기록하자. Promptfoo Action의 promptfoo-version 기본값은 latest이므로 공식 기준선이 변동 버전에 의존하는 것은 바람직하지 않다. 이런 조건 고정은 설명할 수 없는 변화를 줄이지만 원격 모델이 매번 완전히 같다고 보장하지는 않는다.
업무 답변의 불합격, 모델 호출 시간 초과나 인증 실패, 경계 사례에서 평가 모델의 흔들림이라는 세 결과도 미리 구분해야 한다. 인프라 오류를 답변 통과로 계산해서는 안 되며, 초록색이 될 때까지 반복 실행하는 것도 해결이 아니다. 팀이 확인한 좋은 답과 나쁜 답으로 평가 모델을 보정한 다음 반복 실행과 수동 재검토 조건을 정할 수 있다. 두 제품에서 같은 이름의 점수가 나와도 데이터, 평가 모델, 규칙이 같아야 비교할 의미가 있다.
오픈소스 테스트와 호스팅 서비스는 따로 검증하자
Promptfoo의 요금제 페이지는 모든 LLM 평가 기능을 Community에 포함하고 로컬 실행이나 자체 호스팅을 허용한다. 팀 협업, SSO, 호스팅 클라우드 배포는 Enterprise에 나와 있다. DeepEval의 빠른 시작은 로컬 평가를 독립 실행할 수 있고 로그인 후 결과를 Confident AI로 보낼 수 있다고 설명한다. CI 문서의 official 기준선 표시는 CONFIDENT_API_KEY가 필요한데, 기준선이 Confident AI에 저장되기 때문이다. 클라우드 기준선 관리를 계정이 필요 없는 로컬 기능으로 보아서는 안 된다.
오픈소스라고 실행 비용이 없는 것은 아니다. 시험 대상 모델과 평가 모델 호출, CI 자원, 실패 재검토에 모두 예산이 필요하다. 선택 실험에서는 같은 확인된 사례 묶음에 필드 누락, 의미 오류, 모의 호출 실패 한 번을 각각 넣고 어떤 규칙이 실패하는지, CI가 막는지, 결과를 고정 기준선까지 추적할 수 있는지 확인할 수 있다. 이는 권장 검증 방법이지 이 글에서 완료한 테스트가 아니다.
주된 업무가 프롬프트와 모델 조합의 설정 차이 검토라면 Promptfoo를 먼저 시험하자. Python 데이터 준비, 업무 단언, 테스트 절차 재사용이라면 DeepEval을 먼저 시험하자. 최종적으로는 팀이 실패 규칙을 지속적으로 관리할 수 있는 길을 선택하고, 일부러 실패시키는 검사 한 번으로 실제 릴리스 진입점을 지키는지 증명해야 한다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:www.promptfoo.dev