AI21 Maestro 지원 답변, 추론이 끝났다고 요구 사항을 충족한 것은 아니다

기술 지원팀은 AI21 Maestro로 매뉴얼 검색과 답변 요구 사항을 하나의 처리 과정에 넣을 수 있다. 다만 문서 버전을 먼저 한정하고 각 검증 결과를 확인해야 한다. 예산이 소진되어도 실행은 끝나므로, 완성된 답변을 받았다고 바로 고객에게 보내도 되는 것은 아니다.

출처: docs.ai21.com
2026년 11월 11일
6 min

지원 엔지니어가 오류 코드를 받았을 때 실제로 시간이 많이 드는 일은 고객이 사용하는 제품 버전을 확인하고 해당 매뉴얼에서 설명을 찾는 작업인 경우가 많다. 오래된 매뉴얼을 모두 모델에 넘기면 유창한 답변이 오히려 확인 작업을 늘릴 수 있다.

AI21 Maestro는 자료를 검색한 뒤 요구 사항에 맞춰 답변을 생성하고 검증하며 수정할 수 있다. 여러 버전의 문서를 관리하는 지원팀이라면 고객 소통을 바로 맡기기보다 근거가 있는 답변 초안을 준비하도록 하는 편이 더 적절한 출발점이다. 아래 내용은 공식 문서를 바탕으로 이 활용 상황을 분석한 것으로, 실제 지원 티켓을 연결하거나 답변 정확도를 시험하지는 않았다.

오류 코드보다 버전 범위를 먼저 정한다

고객이 오류 코드와 화면 캡처 한 장만 제공했다고 가정해 보자. 지원 담당자는 먼저 제품명, 버전, 문제를 일으킨 절차를 확인한 뒤 그에 맞는 현행 매뉴얼을 선택한다. 버전 정보가 없다면 여러 버전 사이에서 모델이 답을 추측하게 하기보다 먼저 확인 질문을 생성하는 것이 더 유용하다.

이 선택은 Maestro에서 구체적인 영향을 미친다. AI21 Studio의 File Search 문서에 따르면 파일을 선택하지 않으면 모든 파일을 검색하고, 문서를 선택해야 검색 범위가 좁아진다. 따라서 파일을 선택하지 않는 것을 ‘문서를 사용하지 않는다’는 뜻으로 받아들이면 안 된다. 시험 도입 전에 자료 저장소에 구버전 설명, 초안 또는 해당 티켓에 적합하지 않은 자료가 섞여 있는지 확인해야 한다.

공식 RAG 기술 지원 예시는 매뉴얼 검색과 답변 요구 사항을 결합하며 문서를 최신 상태로 유지하도록 요구한다. 이를 자기 업무에 적용할 때도 자료 선택과 버전 확인은 팀의 책임이다. 시스템이 어떤 문서를 검색할 수 있다고 해서 그 문서가 현재 고객에게 적용되는 것은 아니다.

초안은 고객과 검토자 모두에게 필요한 내용을 담아야 한다

이 가상 티켓에서는 출력 요구 사항을 다음과 같이 정할 수 있다. 근거가 어느 매뉴얼에서 왔는지 밝히고, 확인된 정보와 고객이 추가로 제공해야 할 정보를 구분한다. 전문가가 수행해야 하는 작업을 고객이 직접 시도해도 되는 절차처럼 쓰지 않는다. 마지막으로 고객이 이해할 수 있는 설명과 지원 담당자가 확인해야 할 사항을 각각 제시한다. 이는 팀이 마련하는 수용 기준이지, Maestro가 기본적으로 팀을 대신해 수행하는 검사는 아니다.

AI21의 예시는 data_sources를 통해 자료 출처를 명시적으로 반환할 수 있게 하며, 검증 튜토리얼은 requirements_result로 요구 사항 확인 결과를 반환한다. 연동할 때는 최종적으로 다듬어진 문장만 표시할 것이 아니라 출처와 확인 결과도 지원 담당자에게 함께 제공해야 한다.

초안을 받은 검토자는 원문으로 돌아가 핵심 절차와 적용 조건을 확인해야 한다. 인용이 올바른 매뉴얼에서 나왔더라도 초안의 결론을 뒷받침하지 못한다면 보낼 수 없다. 출처가 존재하는 것과 결론이 타당한 것은 서로 다르며, 형식이 완전해 보이는 것만으로는 구분할 수 없다.

예산 소진도 실행이 끝나는 이유다

Maestro의 검증 튜토리얼은 생성, 검증, 수정의 반복이 요구 사항을 충족하거나 예산을 소진하면 멈춘다고 설명한다. 따라서 ‘결과가 반환됐다’는 것이 ‘모든 요구 사항을 통과했다’는 뜻은 아니다. 검토할 때는 점수, 이유, 종료 이유를 항목별로 살펴야 한다. 특히 전체 점수가 버전이나 안전 경계에 관한 빈틈을 가려서는 안 된다.

자료 선택이 잘못됐거나 요구 사항이 모호하다면 먼저 입력과 요구 사항을 수정해야 한다. 자료가 정확하고 요구 사항이 명확한데도 추론이 더 필요한 경우에만 더 높은 budget으로 비교할 가치가 있다. 공식 문서는 예산을 늘리면 활용할 수 있는 추론과 검증 과정이 늘지만 지연과 비용도 증가한다고 설명한다. 빠진 자료를 자동으로 채워 주는 방법은 아니다.

실행 가능한 시험 방법으로는 사람이 이미 결론을 내린 과거 티켓을 골라 버전이 명확한 경우, 버전이 없는 경우, 자료끼리 충돌하는 경우를 포함할 수 있다. 초안이 올바르게 인용하는지, 확인이 필요한 항목을 스스로 남기는지, 지원 담당자가 수정하는 데 얼마나 시간이 걸리는지 기록한다. 이는 제안하는 수용 시험 설계이며 이번에 수행한 시험 결과가 아니다.

팀이 다루는 질문과 답변이 소수이고 안정적이라면 잘 관리된 고정 템플릿이 더 간편할 수 있다. 여러 문서에서 자주 사실을 확인한 뒤 서로 다른 독자가 이해할 수 있는 답변으로 정리해야 할 때 Maestro의 검색과 요구 사항 검사를 시도할 가치가 더 크다. 티켓 처리 과정에 연동할지 판단할 때는 답변이 완성된 글처럼 보이는지만 볼 것이 아니라 검토 부담이 줄었는지를 봐야 한다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:docs.ai21.com