Arize Phoenix와 Braintrust: 실패 trace를 팀이 인정하는 테스트 기준선으로 만드는 것은 누구일까

Phoenix는 자체 호스팅과 실험 코드를 유지할 의지가 있는 엔지니어링팀에 적합하다. Braintrust의 검토 배정, 여러 사람의 결과, 이름 있는 스냅샷은 역할 간 협업에 더 가깝다. 실패 기록이 승인된 사례가 되는 과정과 버전, 채점 기준, 재실행 가능한 설정의 관리자를 확인해야 한다.

출처: arize.com
2026년 11월 15일
13 min

고객 지원 도우미가 ‘환불 신청 제출 완료’를 ‘환불 입금 완료’라고 말했다. 엔지니어는 실패 trace를 찾고 제품 관리자는 오류를 지적할 수 있다. 하지만 다음에 프롬프트를 바꿀 때도 팀은 같은 사례, 같은 정답, 같은 채점 체계를 찾을 수 있을까? Arize Phoenix와 Braintrust 모두 추적, 평가, 수동 주석, 데이터셋을 제공한다. 이 글은 잘못된 답변을 인계 가능한 팀 기준선으로 만드는 방법을 비교한다.

엔지니어링팀이 인스턴스, 사례 변환, 실험 코드를 유지할 의지가 있다면 Phoenix의 자체 호스팅 경로를 우선 평가할 만하다. 제품 및 업무 전문가가 지속적으로 검토를 배정하고 여러 사람의 의견을 처리하며 이름 있는 스냅샷을 유지해야 한다면 Braintrust의 협업 흐름이 더 가깝지만 요금제를 확인해야 한다. 아래 내용은 공식 자료에 근거하며 환불 예시는 분석 시나리오이지 직접 시험한 결과가 아니다.

먼저 오류를 출처가 있는 사례로 바꾸자

Phoenix의 수동 주석 인터페이스는 범주, 연속 점수, 자유 텍스트를 설정하고 주석 작성자와 사람·모델·코드 출처를 표시할 수 있다. 주석으로 spans를 필터링해 데이터셋에 가져올 수도 있다. 업무 담당 동료는 검토를 부정적 평가 하나로 압축하지 않고 ‘상태가 과장되었다’고 설명할 수 있다.

다만 사례의 입력·출력과 원본 trace 사이에는 검증 가능한 연결이 필요하다. Phoenix의 출처 연결 문서는 metadata에 저장된 ID와 명시적 source 링크를 구분한다. 모든 가져오기에 source가 붙는 것은 아니다. 엔지니어는 실제 사례 하나가 올바른 프로젝트의 원본 span으로 돌아갈 수 있는지 확인해야 하며, 맥락 없는 답변 한 토막만 남겨서는 안 된다.

Braintrust의 검토 관리는 로그, 실험, 데이터셋의 행을 구성원에게 배정하고 대기, 나에게 배정, 완료 상태로 본 뒤 데이터셋에 직접 추가할 수 있다. 데이터셋 구조는 input, expected, metadata, tags를 분리하고 input에 trace 참조를 저장할 수도 있다. 두 제품 모두 온라인 문제를 오프라인 실험에 연결하며, 차이는 팀에 엔지니어링 통제가 더 필요한지 일상 검토의 배정 진입점이 더 필요한지다.

환불 사례에서는 제품 책임자가 ‘신청은 제출되었으며 입금되었다고 주장하면 안 된다’를 명시하고, 엔지니어는 당시 사용자 입력, 필요한 맥락, 재현 가능한 도구 반환값을 저장해야 한다. 잘못된 출력을 그대로 정답으로 승격하거나 trace 참조가 재생 가능한 업무 환경과 같다고 가정해서는 안 된다. 조사 자료와 확인된 expected라는 두 용도를 유지하고 기준선에 포함하기 전에 민감한 필드를 검사해야 한다.

두 사람이 채점했다고 정답이 확립된 것은 아니다

Phoenix는 서로 다른 주석 작성자의 의견과 이유를 볼 수 있어 엔지니어와 업무 담당자가 같은 span을 두고 논의하기에 적합하다. Braintrust의 다중 검토자 규칙은 더 명확하다. 개인별 점수는 독립 저장되고 수치형 및 범주형 점수는 평균되어 부모 span에 반영된다. 텍스트나 expected에 기록하는 범주 결과는 평균 낼 수 없어 결과 하나를 기본값으로 선택해야 한다.

따라서 두 전문가가 0과 1을 줬을 때 평균 0.5는 의견 차이를 뜻할 뿐 환불 상태가 ‘절반 맞다’는 뜻이 아니다. 팀은 누가 판정하고 이유를 어떻게 기록하며 언제 사례를 승인된 데이터셋에 넣을 수 있는지 정해야 한다. 이는 업무 책임이며 플랫폼이 대신 결정하지 않는다. Braintrust의 점수 가시성은 검토 양식의 표시 필터일 뿐이고 숨긴 점수는 다시 표시할 수 있으므로 권한 격리로 취급해서는 안 된다.

데이터 버전을 고정한 뒤 개선 여부를 논의하자

Phoenix의 데이터셋 설명은 삽입, 업데이트, 삭제가 모두 버전 관리되고 실험을 특정 버전에 고정할 수 있다고 명시한다. Braintrust도 데이터 변경을 추적하지만 이름 있는 스냅샷은 Pro와 Enterprise 기능이며 스냅샷 이후 변경이 20,000행을 넘으면 복원이 실패한다. 버전 이력, 팀이 이름 붙인 승인 기준선, 복원 기능은 서로 다른 약속이다. ‘버전 관리가 있다’로 뭉뚱그려서는 안 된다.

예를 들어 환불 사례 20개를 먼저 승인하고 경계 사례 5개를 추가했다고 하자. 이전 실험의 18/20과 새 실험의 22/25는 모델이 퇴보하거나 개선되었다는 직접 증거가 아니다. 같은 승인 버전에서 이전 설정과 새 설정을 다시 실행하고 새 사례는 따로 설명해야 한다. Braintrust의 평가 연결은 버전이나 이름 있는 버전으로 로드할 수 있으며 환경은 스냅샷과 연결된다. 편리한 환경 이름도 실제 버전으로 해석해 기록해야 나중에 참조 대상이 바뀌는 일을 대비할 수 있다.

Phoenix의 실험 API는 dataset, task, evaluators를 나누고 완료한 실험을 다시 채점할 수도 있다. Braintrust의 Eval도 데이터, 작업, 채점기를 구분한다. 이전 출력을 재평가하는 것과 앱을 다시 호출하는 것은 다른 실험이다. 인계할 때는 데이터 버전 외에 앱 코드, 프롬프트, 모델과 공급자, 샘플링 매개변수, 도구나 지식 스냅샷, 채점 규칙과 평가 모델을 기록해야 한다. 외부 인터페이스 재실행은 통제된 테스트 환경에서 해야 하며 환불 사례가 실제 동작을 다시 실행하게 해서는 안 된다.

이 기록은 엔지니어링 책임자가 관리하고 업무 책임자는 expected와 채점 기준을 승인한다. 전체 설정을 저장하면 ‘서로 다른 것을 비교하는’ 일을 줄일 수 있지만 원격 모델이 매번 같은 답변을 반환한다고 보장할 수는 없다. 검토에서는 총점만 보지 말고 사례별 변화와 실패 이유를 봐야 한다.

협업 방식과 예산, 권한을 함께 구체화하자

Phoenix의 자체 호스팅 설명은 무료 배포를 제공하지만 서버, 업그레이드, 백업, 모델 호출은 여전히 누군가 부담해야 한다. 현재 라이선스는 Elastic License 2.0이며 제3자에게 호스팅 또는 관리형 서비스를 제공하는 데 대한 제한을 포함하므로 OSI 오픈소스라고 뭉뚱그려 부르는 것은 적절하지 않다. 권한 문서는 admin, member, viewer를 명시하고 SAML SSO와 다계층 RBAC는 Arize AX로 안내한다. AX의 기업 기능을 Phoenix 기능에 넣어서는 안 된다.

Braintrust의 현재 가격에서 Starter는 월 0달러이며 프로젝트당 수동 검토 점수 항목은 1개뿐이다. Pro는 월 249달러로 무제한 수동 점수 항목과 기본 RBAC를 지원한다. 처리 데이터와 자동 채점에는 별도의 사용량 한도와 초과 비용이 있으며 모델 비용도 따로 확인해야 한다. 사용자, 데이터셋, 실험 수가 무제한이라고 검토 흐름이나 실행 비용까지 무제한이라고 추론하지 말자.

배포에서도 서비스 경계를 구분해야 한다. Braintrust의 배포 설명에서 BYOC는 고객 클라우드 계정의 데이터 플레인을 공급자가 운영하는 방식이며 UI, 인증, 경량 메타데이터는 계속 공급자가 관리한다. 활성화한 기능이 외부 모델을 호출할 수도 있다. 공식 제품 설명은 BYOC와 자체 호스팅 데이터 플레인을 Enterprise 옵션으로 명시한다. 따라서 ‘내 클라우드’를 전체 플랫폼의 오프라인 실행이나 보안 요구 자동 충족으로 이해해서는 안 된다.

선택할 때는 비식별화한 실패 기록 하나로 업무 담당자가 주석과 의견 차이 판정을 마치게 하고, 다른 엔지니어가 고정 버전으로 실험을 다시 실행하게 하자. 주된 장애물이 배포와 실험 통제이고 팀이 유지보수를 맡을 수 있다면 Phoenix를 먼저 시험하자. 검토 배정, 여러 사람의 결과, 승인 기준선 인계가 주된 장애물이라면 Braintrust와 해당 유료 등급을 우선 검증하자. 확인할 것은 다음 동료가 사례를 설명하고 다시 실행할 수 있는지이지 대시보드에 점수가 나타났는지가 아니다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:arize.com