Galileo와 Maxim AI: 다중 턴 고객 지원 테스트에서 고칠 단계를 어떻게 찾을까

턴을 넘나드는 경계 사례가 부족하면 Maxim의 사용자 시뮬레이션을, 기존 실패 대화에서 도구 선택과 실행 문제를 분해해야 하면 Galileo를 우선 검증할 만하다. 대화 종료, 업무 성공, 모델 점수를 구분하고 전체 대화 경로로 비용을 계산해야 한다.

출처: docs.galileo.ai
2026년 11월 15일
13 min

고객 지원 에이전트가 주문을 확인한 뒤 사용자가 교환으로 말을 바꾸었는데, 도구는 환불 인터페이스 시간 초과를 반환했다. 마지막 답변이 공손해도 상태 손실, 중복 제출, 잘못된 약속을 감출 수 있다. 평가 플랫폼을 고를 때 핵심은 이 다중 턴 경로를 복원하고 장애를 다음에 검증 가능한 수정 과제로 바꾸는 것이다.

Galileo는 실제 대화가 이미 있고 도구 호출을 따라 문제를 찾으며 온라인 채점을 설정해야 하는 팀에 더 적합하다. Maxim AI는 경계 사례가 부족하고 모의 사용자가 계속 질문하게 하려는 팀에 더 적합하다. 둘 다 에이전트를 평가할 수 있으며 차이는 어느 작업을 먼저 보충하는가다. 아래 내용은 공식 자료에 근거하며 시나리오와 검증 숫자는 모두 가정이고 제품을 직접 시험하지 않았다.

대화를 관찰할지 새 대화 경로를 생성할지 먼저 정하자

Galileo의 대화 구조는 session으로 관련 traces를 모으고 도구 호출의 spans와 입력·출력까지 내려가 살펴본다. 고객 지원팀에 실패 대화가 쌓였다면 엔지니어가 사용자가 몇 번째 턴에서 의도를 바꿨는지, 이후 호출이 여전히 예전 주문이나 의도를 쓰는지 판단하는 데 도움이 된다. 연결 시 같은 대화의 기록을 정확히 연계해야 한다. 마지막 답변만으로는 중간 상태를 설명할 수 없다.

Maxim의 시뮬레이션 기능은 시나리오, 사용자 프로필, 최대 턴 수를 설정해 AI가 이후 사용자 입력을 생성하게 한다. 일괄 시뮬레이션은 데이터셋으로 시나리오와 기대 단계를 기록하고 에이전트 HTTP endpoint를 대상으로 실행한다. ‘처음에는 주문 번호를 거부하다 나중에 제공’하거나 ‘환불에서 교환으로 변경’하는 경로를 능동적으로 시험하기에 적합하다. 모의 사용자는 실제 고객이 아니며 시뮬레이션 통과율은 온라인 성공률이 아니다.

Galileo에 실험이나 합성 데이터가 없다는 뜻은 아니다. 데이터셋 문서는 실험 입력, 기대 출력, 합성 사례를 지원한다. 다만 테스트 행을 생성하는 것과 사용자 한 명이 계속 질문하는 것은 같지 않다. 이번에 확인한 Maxim 문서는 후자의 동작과 중지 조건을 더 구체적으로 설명한다. 자체 시뮬레이터가 있는 팀은 진입점을 하나 더 만들기 위해 평가 시스템을 옮길 필요는 없다.

올바른 도구 선택, 실행 성공, 대화 종료는 따로 검증하자

Maxim의 도구 테스트는 실행 가능한 API·코드와 선택 테스트 전용 schema를 구분하며 Playground에서 도구 반환값을 수동 수정할 수도 있다. 이를 이용해 성공, 시간 초과, 업무상 거절이라는 세 응답을 준비할 수 있지만 플랫폼이 실제 백엔드를 자동 교체한다고 추론해서는 안 된다. 일괄 테스트에서도 팀이 샌드박스 인터페이스나 테스트 어댑터 계층에서 반환값을 고정해 모의 환불이 실제 결제를 일으키지 않도록 해야 한다.

종료도 별도로 정의해야 한다. 사용자 지정 시뮬레이션은 시뮬레이션 모델, 행동, 종료 조건을 지정할 수 있고 end_simulation 도구를 자동 추가한다. 끝내는 것은 모의 대화이지 업무 성공을 인증하는 것이 아니다. ‘올바른 상담원 이관’, ‘사용자 포기’, ‘최대 턴 도달’, ‘업무 완료’를 따로 저장하고 채팅 중지를 모두 문제 해결로 계산하지 말자.

Galileo의 Tool Selection Quality는 도구와 매개변수가 적절한지 판단하고, Tool Error는 실행 오류 발생 여부를 판단한다. 전자의 true는 올바른 선택을, 후자의 true는 오류 감지를 뜻하므로 집계 전에 방향을 맞춰야 한다. 두 항목 모두 모델 판단이며 환불 원장이나 인터페이스 상태 코드를 대신하지 못한다.

예를 들어 주문 조회는 맞지만 인터페이스가 시간 초과되면 복구와 상담원 이관을 먼저 고친다. 인터페이스가 성공했는데도 이전 환불 요청을 계속 제출하면 의도 갱신과 상태 관리를 확인한다. 성공하지 않았는데 사용자에게 ‘완료’라고 말하면 답변이 도구 결과의 제약을 받는지 확인한다. 엔지니어에게는 턴별 의도, 매개변수, 반환값, 상태 변화가 필요하고 업무 책임자는 허용 결과를 확인해야 한다. 총점 하락은 조사 계기일 뿐 프롬프트와 인터페이스 중 무엇을 고칠지 단독으로 결정할 수 없다.

온라인 실패로 시뮬레이션을 보완하되 대체하지 말자

Maxim의 온라인 평가는 session, trace, span을 나눈다. 전체 대화는 턴 간 판단에, 개별 응답은 국소 품질에 쓰고 span 수준 설정은 SDK로 수행한다. Galileo의 로그 스트림 지표는 기본 또는 사용자 지정 평가를 활성화하고 지표별 샘플링을 설정할 수 있다. 양쪽 모두 충분한 맥락을 연결한 뒤 평가 범위를 정해야 한다.

Maxim은 로그와 사람이 수정한 결과로 데이터셋을 정리할 수 있다. Galileo는 generated_output, ground_truth, metric_ground_truth 필드를 따로 두어 앱 출력, 기대 답변, 기대 점수를 구분한다. 실패 사례를 다시 넣을 때는 원래 대화를 진단용으로 저장한 뒤 트리거 조건과 기대 경로를 추려 재실행에 써야 한다. 원래의 잘못된 출력을 정답으로 삼거나 로그를 가져오면 백엔드 상태도 재구축된다고 가정하지 말자.

수동 검토는 모델 점수와 도구 사실의 충돌, 조기 종료, 사용자 의도 변경, 고위험 약속에 집중해야 한다. 실패가 실제로 에이전트에서 비롯되었음을 확인한 뒤 해당 시뮬레이션 변형을 추가하자. 올바른 상담원 이관을 채점기가 실패로 판단하면 채점 규칙부터 고쳐야 하며 높은 점수를 위해 에이전트에 계속 실행하라고 강요해서는 안 된다. 온라인 저점수 표본도 샘플링과 트래픽 구성의 영향을 받으므로 정상 대화도 함께 봐야 불만이 가장 많은 경로만 고치는 데 치우치지 않는다.

예산은 대화 경로로 계산하고 런타임 제어는 따로 보자

가상의 비교 시험에서 시나리오 20개마다 도구 반환값 3종을 두고 2회 반복하면 모의 대화는 총 120개이며 각각 최대 8턴이다. 최대 960턴이 모델 호출 960회라는 뜻은 아니다. 모의 사용자 생성, 에이전트 내부 계획, 여러 채점기, 재시도도 포함되기 때문이다. 각각의 token, 비용, 도구 횟수, 대화 길이, 수동 검토 시간을 기록하고 플랫폼 구독과 로그 저장 등 해당 비용을 더하자. 게이트웨이 속도로 평가 총비용을 판단하지 말자.

특히 샘플링이 어느 수준에 적용되는지 확인해야 한다. Maxim 문서는 샘플링과 속도 제한이 trace 수준 평가에만 적용되고 session 수준은 여전히 모든 대화를 평가한다고 명시한다. Galileo의 Tool Selection Quality는 평가 모델을 여러 번 호출해 비용도 늘어난다. 따라서 10% 샘플링을 설정했다고 전체 다중 턴 테스트 청구액을 바로 10분의 1로 추산해서는 안 된다.

제품 경계도 중요하다. 이 글은 Maxim의 평가·시뮬레이션 제품을 다루며 Bifrost는 모델 접근 및 거버넌스 게이트웨이다. 게이트웨이의 오픈소스나 무료 조건을 평가 서비스에 적용해서는 안 된다. Galileo의 현재 Agent Control은 별도로 워크플로 실행 중 입력·출력 제어를 제공한다. 로그 수집과 채점이 차단 설정 완료를 뜻하지는 않는다. 런타임 차단이 필요하면 제어 연결, 트리거 조건, 오차단, 실패 후 업무 처리를 따로 검증해야 한다.

위 120개 대화를 검증할 때 모든 권한 밖 환불과 허위 완료 약속을 차단 목록에 넣도록 요구하고, 성공, 규정에 맞는 상담원 이관, 도구 장애, 턴 초과 비율을 각각 보고할 수 있다. 수정 전후 비교 시 시나리오, 도구 반환값, 에이전트·시뮬레이터 설정, 채점 규칙을 고정하고 논란 있는 사례는 사람이 검토한다. 기준값은 업무 위험에 따라 정한다. 이는 권장 검증 방법이지 두 제품이 이미 달성한 결과가 아니다.

현재 난제가 ‘턴 간 변화를 시험할 까다로운 사용자가 부족하다’라면 Maxim을 먼저 시험하자. ‘잘못된 대화가 많은데 어느 단계가 틀렸는지 설명하기 어렵다’라면 Galileo를 먼저 시험하자. 업무 성공 상태, 격리된 테스트 인터페이스, 대화 연결조차 갖추지 못했다면 구매 전에 그 기반부터 마련하자. 실제로 유용한 결과물은 오류가 난 턴을 짚고 도구 조건을 재현하며 수정 효과를 증명하는 사례이지 더 높은 평균 점수만이 아니다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:docs.galileo.ai