Guardrails AI와 NeMo Guardrails: 고객 지원 필드 검증과 다단계 제약을 어디에 둘까

기존 고객 지원 오케스트레이션에 주로 필드 검증이 부족하다면 Guardrails AI를, 정책이 검색·다중 턴 대화·도구 호출에 걸쳐 있다면 NeMo Guardrails를 먼저 검증할 만하다. 기존 호스팅 서비스 종료, 실패 처리, 하위 시스템 쓰기의 실제 차단 여부도 확인해야 한다.

출처: www.harvey.ai
2026년 11월 15일
13 min

고객 지원 도우미가 ‘환불 신청 접수’를 조회하고도 ‘환불 입금 완료’를 생성하며 주문 번호 없는 JSON을 티켓 시스템에 넘겼다. 여기에는 결과물이 필드 계약을 충족하는지와 대화가 업무 단계에 따라 증거를 확보했는지라는 두 문제가 있다. Guardrails AI는 기존 Python 흐름에서 입력, 출력, 구조화 필드를 검증하는 데 더 적합하다. NVIDIA NeMo Guardrails는 입력, 검색, 대화, 도구, 출력의 여러 단계에 검사를 배치하는 데 더 적합하다. 선택은 오류 발생 위치에 달려 있고 계층별로 조합할 수도 있다.

아래 내용은 공식 자료에 근거하며 현재 소프트웨어 라이브러리만 비교한다. 환불 흐름은 분석 시나리오이지 직접 시험한 결과가 아니며 모델 기반 검사로 안전이나 사실 정확성을 보장하지도 않는다.

먼저 어떤 Guardrails를 아직 채택할 수 있는지 확인하자

Harvey 발표는 Guardrails AI 인수와 팀의 제품·엔지니어링 조직 합류를 확인한다. 오픈소스 라이브러리가 닫혔다는 뜻은 아니다. 공식 이전 안내는 2026년 8월 25일 기존 Hub 설치, 비공개 검증기 레지스트리, 호스팅 원격 추론이 중단되었다고 명시한다. 검증기는 공개 PyPI의 guardrails-ai-<name> 패키지로, 가져오기 경로는 guardrails_ai로 바뀐다. 모델이 필요한 검증기는 로컬 실행이나 자체 추론 엔드포인트로 바꿔야 하며 기존 무료 호스팅을 기준으로 배포를 추산해서는 안 된다.

현재 릴리스 기록에는 v0.11.0이 있지만 다운로드 가능하다고 미래 유지보수가 약속되는 것은 아니다. 보안 공지는 0.10.1에 악성 코드가 들어 있었다고 밝히므로 예전 튜토리얼을 그대로 따라 그 버전을 설치해서는 안 된다. 정식 채택 전에 현재 버전, 의존성, 보안 공지를 검토하고 테스트한 조합을 고정해야 한다. NeMo도 라이브러리, 모델, 설정 버전을 고정해야 하며 계속 바뀌는 개발 브랜치를 운영 기준선으로 삼아서는 안 된다.

필드가 통과해도 업무 의미에는 근거가 필요하다

Guardrails의 저장소 예시는 Guard.validate로 기존 텍스트를 검증하고 Guard.for_pydantic으로 목표 구조를 정의해 모델 호출을 감쌀 수 있음을 보여 준다. 반환 객체는 원시 출력, validated_output, validation_passed, 재질문 정보, 오류를 구분한다. 연결하는 앱은 합의한 검사가 통과된 뒤에만 검증된 결과를 하위 시스템에 넘겨야 한다. ‘반환값을 받았다’를 승인으로 보아서는 안 된다.

예를 들어 티켓에 order_id, refund_status, customer_reply가 필요하다고 하자. 구조 검사는 필드 누락이나 타입 오류를 찾지만 주문 번호의 소유 관계와 상태가 이번 조회에서 나온 것인지는 신뢰할 업무 데이터와 대조해야 한다. refund_status가 허용된 열거형이어도 ‘입금 완료’는 잘못 고른 값일 수 있다. Guardrails의 사용자 지정 검증기 인터페이스는 value와 metadata를 받아 PassResult 또는 FailResult를 반환한다. 팀이 업무 검증을 작성할 수 있지만 신뢰할 맥락을 직접 제공해야 하며 모델 출력을 증거로도 사용해서는 안 된다.

앱에 주문 조회와 티켓 쓰기 단계가 명확하다면 이런 검증 계층 삽입이 대화 흐름 전체를 다시 쓰는 것보다 요구에 더 맞는 경우가 많다. 고정 필드, 범위, 열거형 검사만 필요하다면 기존 schema나 일반 코드 단언으로 충분한지 먼저 평가해 ‘가드레일이 있다’는 이유로 모델 호출을 추가하지 않도록 하자.

NeMo는 여러 단계에 검사를 두지만 흐름이 실제로 거쳐야 한다

NeMo의 가드레일 유형은 입력 검사, 검색 콘텐츠 필터링, 다중 턴 대화 제약, 도구 매개변수 및 결과 검증, 최종 출력 처리를 나눈다. ‘필요 정보를 확인한 뒤 주문을 조회하고 상태를 설명’하는 단계 간 정책에 적합하다. 마지막 답변 하나를 필터링해도 이미 발생한 도구 동작을 취소할 수는 없다.

환불 예시에서는 검색 단계에 지식 조각 적용성 검사, 대화 단계에 주문 정보 보완 요구, 도구 단계에 매개변수·결과 검증, 마지막에 상태 과장 검사를 둘 수 있다. 이는 구현하고 테스트해야 하는 설계이지 소프트웨어 설치로 자동 제공되는 환불 흐름이 아니다. 도구 인터페이스는 신원, 권한, 매개변수를 독립적으로 검사해야 한다. 모델 판단은 백엔드 인가를 대체하지 못한다.

NeMo의 아키텍처 개요는 YAML로 모델 및 실행 설정을 구성하고 Colang으로 대화·이벤트 로직을 기술하며 Python actions로 업무 검사를 확장한다고 설명한다. SDK는 채팅 메시지를 받을 수 있고 서비스 진입점은 OpenAI 스타일과 호환되는 채팅 인터페이스를 제공할 수 있다. 규정에 맞는 표현의 메시지를 반환한다고 티켓 시스템의 JSON 계약을 자동 충족하는 것은 아니다. 하위 시스템이 구조화 객체를 요구하면 필드를 따로 검증해야 한다.

따라서 기존 오케스트레이션이 안정적이고 주로 필드·콘텐츠 검증이 부족하면 Guardrails를 우선 검증하자. 정책이 다중 턴, 검색, 도구 단계를 넘나들고 팀이 흐름 설정을 유지할 수 있다면 NeMo를 우선 검증하자. 조합에도 비용이 있다. 규칙별 담당 계층을 지정해 두 계층의 중복 모델 호출, 중복 재작성, 각자 재시도로 인한 지연 폭증을 피해야 한다.

실패 처리가 실제 하위 시스템 차단 여부를 결정한다

Guardrails의 on_fail 가이드에 따르면 noop은 오류를 기록하고 계속하고, exception은 예외를 던진다. fix는 검증기가 제공한 수정값을 사용하지만 모든 검증기에 있는 것은 아니다. reask는 메시지와 모델 호출 설정이 필요하고 재질문 상한도 설정해야 한다. noop을 차단으로 보거나 자동 수정이 고객의 주문 번호를 추측하게 해서는 안 된다.

확정 가능한 형식 수정과 업무 상태 오류를 구분할 수 있다. 전자는 통제된 수정 후 다시 검증하고 후자는 신뢰할 상태를 다시 읽거나 사람에게 넘긴다. 재질문을 최대 1회 허용한다면 최초 결과와 재질문 결과를 기록해야 한다. 상한에 도달해도 실패하면 하위 시스템 쓰기를 중단한다. 이 상한은 예시 정책이지 제품 기본 보장이 아니다.

NeMo의 예외 문서는 내장 rails가 작동하면 기본적으로 미리 정한 메시지를 반환하고, enable_rails_exceptions를 켜면 role이 exception인 메시지를 결과에 포함할 수 있다고 설명한다. 앱은 그 결과를 인식하는 동시에 런타임 예외도 처리해야 한다. 거절 문구, 업무 검증 실패, 서비스 시간 초과는 따로 기록해야 한다. 시간 초과 뒤 검사하지 않은 원시 답변을 그대로 넘기면 차단 전체가 무효화된다.

두 제품 모두 실패 시 닫힘 원칙을 명확히 해야 한다. 통과를 확인할 수 없으면 그 결과에 의존하는 티켓 쓰기나 업무 동작을 실행하지 않고 고객에게 이해할 수 있는 다음 단계를 안내한다. 사용자 지정 검증기 로직, 외부 데이터 가용성, 모델 오판은 팀의 책임 범위다.

가드레일 수보다 검증 가능한 인계로 평가하자

가상의 검증 세트를 준비할 수 있다. 정상 환불 질의응답 20개, 필드 누락이나 상태 모순 사례 5개, 도구 또는 검증 서비스 시간 초과 사례 5개다. 모델, 규칙, 의존성 버전, 주문 스냅샷을 고정하고 샌드박스에서 최종 필드, 쓰기 여부, 거절·사람 이관 이유, 모델 호출 횟수, 종단 간 지연을 기록한다. 30개는 시작 사례일 뿐 온라인 정확도를 대표하지 않는다.

검증 요구에는 정상 사례의 정확한 결과, 핵심 필드 불합격 시 하위 시스템 쓰기 없음, 시간 초과를 통과로 보지 않음, 재시도로 업무 동작이 중복되지 않음이 포함되어야 한다. 정상 답변을 잘못 거절한 경우도 업무 담당자가 재검토해야 한다. 모델 기반 가드레일은 판단을 도울 수 있지만 어느 쪽도 테스트 통과를 영원히 오류가 없거나 우회 불가능하다는 뜻으로 해석해서는 안 된다.

배포 예산도 계층별로 나눠야 한다. NeMo 개요는 자체 관리 Python 라이브러리와 같은 설정 모델에 기반해 Kubernetes와 Helm으로 배포하는 마이크로서비스를 구분한다. 라이브러리 선택이 관리형 운영 확보를 뜻하지는 않는다. Guardrails의 예전 추론 서비스도 계산 비용을 더는 부담할 수 없다. 유지보수, 모델 추론, 추가 검사, 재시도를 함께 예산에 넣고 팀이 ‘어느 단계가 통과하고 어디서 멈추며 누가 인계받는가’를 설명할 수 있는 방식을 선택하자.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:www.harvey.ai