Pydantic AI와 DSPy: 고객 문의 메일 추출, 필드 제어와 판단 최적화 중 무엇이 먼저일까?
필드가 유효해도 고객의 의도를 잘못 읽을 수 있다. Pydantic AI는 타입 검증, 재시도, 실패 처리 경로부터 마련하기에 적합하다. DSPy는 대표성 있는 샘플과 평가 기준을 갖춘 뒤 추출 프로그램을 최적화하기에 적합하다. 비교할 때는 라벨링, 최적화 탐색, 온라인 호출 비용도 포함해야 한다.
고객 지원팀은 메일을 모델에 전달하고 주문 번호, 요청 유형, 금액, 원문의 근거를 얻고자 한다. 진짜 어려운 점은 필드를 데이터베이스에 저장할 수 있어도 고객 의도를 잘못 읽을 수 있다는 것이다. Pydantic AI는 검사 가능한 출력 경계부터 마련하는 데 더 적합하다. DSPy는 대표성 있는 샘플과 평가 기준을 확보한 뒤 추출 프로그램을 체계적으로 최적화하는 데 더 적합하다. 둘은 함께 사용할 수 있지만 어느 쪽도 유효한 JSON 하나로 내용이 맞다고 입증하지는 못한다.
먼저 오류를 두 종류로 나누자
고객이 “주문 A123의 299위안은 환불 신청이 아닙니다. 먼저 중복 청구를 설명해 주세요”라고 썼다고 가정하자. 이는 분석 예시이지 실측 결과가 아니다. 출력에서 요청 유형을 “환불”로 쓰면 주문 번호가 문자열이고 금액이 숫자이며 유형이 허용된 열거형에 속하더라도 업무상 의미는 여전히 틀리다.
먼저 출력에 요청 유형, 주문 번호, 금액, 통화, 근거 구절, 보충이 필요한 정보를 포함하도록 정할 수 있다. 통화가 없으면 빈 값을 허용해야 하며, 금액이 필수 필드라는 이유로 숫자를 추측해서는 안 된다. 한 메일에 요청이 여러 개면 목록을 출력할지도 미리 결정해야 한다. 이 필드 규약과 라벨링 규칙이 두 방안을 공정하게 비교하는 출발점이다.
Pydantic AI: 한 번의 호출을 받아들일 조건을 명확히 쓰자
Pydantic AI 출력 문서는 Pydantic 모델 등의 타입으로 결과를 정의하도록 지원하며, 도구 출력, 모델 기본 구조화 출력, 프롬프트 기반 출력 등의 방식을 제공한다. 구체적인 방식은 모델 역량에 달려 있다. 검증 실패는 재시도를 유발할 수 있고, 개발자가 출력 검증 함수를 작성해 ModelRetry로 모델에 결과 수정을 요청할 수도 있다. 재시도에는 예산이 있으므로 계속 재시도하면 반드시 성공한다고 가정해서는 안 된다.
고객 문의 추출에서는 허용된 요청 유형과 금액 범위를 제약으로 작성하고, 근거 구절이 메일에 실제로 등장하는지도 확인할 수 있다. 후자는 팀이 구현해야 할 검증 로직이지 프레임워크가 자동으로 제공하는 사실 확인 기능이 아니다. 구절이 존재해도 모델의 결론을 뒷받침하지 않을 수 있다. “환불 신청이 아닙니다”는 부정 의미까지 검증 또는 평가에서 다뤄야 한다.
따라서 이 접근은 하위 시스템이 어떤 필드를 받는지 이미 알고 있고 명확한 실패 처리 경로가 필요한 엔지니어링 팀에 적합하다. 재시도 한도를 넘으면 기본값을 몰래 채우는 대신 실패 이유를 저장하고 고객 지원 담당자에게 넘겨야 한다. 재시도와 검증은 인터페이스를 제약할 수 있지만 추출 품질 평가를 대신하지는 못한다.
DSPy: 업무 평가 기준에 맞춰 프로그램을 개선하자
DSPy도 구조를 선언할 수 있다. Signature 문서는 입력과 출력의 필드 및 타입을 설명하며, 더 풍부한 타입에는 Pydantic 모델도 포함된다. 따라서 “Pydantic AI에는 타입이 있고 DSPy에는 없다”는 식으로 비교해서는 안 된다.
DSPy의 차이는 최적화 경로에 있다. 공식 옵티마이저 문서는 프로그램, 평가 함수, 학습 입력을 핵심 재료로 삼는다. MIPROv2를 예로 들면 지시문과 소수 예제의 조합을 탐색한다. 다른 옵티마이저는 모델 가중치 미세 조정을 포함할 수 있지만, 프롬프트 최적화를 모두 새 모델 학습이라고 부를 수는 없다. 일부 최적화 흐름은 라벨 없는 입력으로 시작할 수 있지만 고객 지원팀이 신뢰할 만한 검수 기준을 생략해도 된다는 뜻은 아니다.
이 작업에서는 먼저 업무를 아는 사람이 메일을 라벨링해 “환불”, “청구 문의”, “주문 변경”의 경계를 명확히 하고 평가 기준을 정해야 한다. 주문 번호 일치, 요청 유형, 금액과 통화, 근거의 뒷받침 정도를 각각 확인해야 한다. 핵심 필드 오류를 평균 점수 속에 묻어 버리면 업무에 적합하지 않은 프로그램에 보상을 주게 된다. 최적화는 주어진 목표만 따를 수 있고 팀이 빠뜨린 규칙을 스스로 발견할 수 없다.
학습 및 최적화에 쓰는 샘플과 최종 검수 샘플은 분리해야 한다. 고객이나 대화 단위로 나눠 같은 메일을 바꿔 쓴 문장이 양쪽에 동시에 포함되지 않게 하기를 권한다. 필드 누락, 부정, 여러 주문, 다국어 메일도 포함해야 한다. 이런 데이터 준비 없이 최적화 횟수를 늘리면 지출만 늘어나는 경우가 많으며, 이를 근거로 정확도가 향상됐다고 주장해서는 안 된다.
호출 비용을 계산하고 제품 계층도 구분하자
여기서 Pydantic AI는 Python SDK를 뜻한다. Pydantic AI Harness는 그 위에 구축한 기능 라이브러리로 파일, 계획, 메모리 등 더 복잡한 에이전트 작업을 대상으로 한다. 단순한 메일 필드 추출을 위해 완전한 장기 작업 에이전트를 도입할 필요는 없다. Logfire는 관측과 디버깅을 담당하며, 그 서비스 비용이나 기능을 SDK 자체의 가격 및 필수 조건으로 여겨서는 안 된다.
DSPy의 옵티마이저도 팀 대신 모델 호출 비용을 내주지 않는다. 예산을 비교할 때는 공통적인 온라인 추론 및 운영 유지보수와, 각각 추가되는 재시도, 데이터 라벨링, 최적화 탐색, 평가 호출, 선택적인 관측 서비스를 분리해야 한다. 프롬프트에 예제를 더 넣으면 배포 후 입력 token도 늘 수 있다. 최적화 단계에서 더 높은 점수를 받았다고 메일 한 통의 비용이 자동으로 저렴해지는 것은 아니다.
예를 들어 시험에서 메일 1,000통을 처리하고 그중 100통에서 각각 모델 호출이 한 번 더 발생했다면 이 부분에서 100회 호출이 추가된다. 하지만 호출별 입력과 출력 길이가 다를 수 있으므로 비용이 10% 늘어난다고 바로 계산할 수는 없다. 이는 예산 계산 사례일 뿐 어느 제품의 재시도율도 아니다. DSPy의 오프라인 최적화 비용 역시 따로 기록하고, 운영 투입 이후의 절감이나 품질 이익과 비교해야 한다.
같은 메일 묶음으로 다음 단계를 정하자
현재 주된 문제가 필드 규약 위반이나 예외를 처리하지 못하는 것이라면 Pydantic AI로 최소 추출 서비스부터 만들고, null을 허용할 필드, 검증 규칙, 실패 시 처리 경로를 명확히 하자. 형식은 이미 안정됐지만 요청의 의미를 자주 잘못 판단하고 팀에 라벨링된 샘플과 평가 책임자가 있다면, DSPy로 최적화 전후 프로그램을 비교하고 별도로 남겨 둔 테스트 세트의 결과를 살펴보자.
DSPy로 추출 모듈을 최적화한 뒤 기존 타입 검증 서비스에 연결할 수도 있다. 이는 엔지니어링 통합과 회귀 테스트가 필요한 설계 선택이지, 두 프레임워크가 설치 즉시 제공하는 보장이 아니다. 간단한 모델 호출과 기존 검증만으로 요구를 충족한다면 두 추상화 체계를 동시에 유지할 필요는 없다.
검수에서는 적어도 구조 통과율, 핵심 필드 정확성, 실패 시 인계 비율, 메일 한 통의 총 호출 비용, 지연 시간을 나눠 살펴야 한다. 근거한 선택 분석이며 정확도 대조 실험을 실행하지 않았다. 선택 기준은 팀에 지금 부족한 것이 출력 제어인지 측정 가능한 의미 판단 개선 경로인지에 있어야 하며, 어느 프레임워크 이름이 더 인기 있는지가 되어서는 안 된다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:pydantic.dev