Pydantic AI と DSPy:顧客メールの情報抽出は、フィールド制御と判断の最適化のどちらから始めるか

フィールドが適正でも顧客の意図を読み違えることはある。Pydantic AI は型検証、再試行、失敗時の処理経路を先に整えるのに適し、DSPy は代表性のあるサンプルと採点基準を用意した後で抽出プログラムを最適化するのに適する。比較にはアノテーション、最適化探索、本番呼び出しのコストも含める必要がある。

ソース: pydantic.dev
2026年11月11日
9 min

カスタマーサポートチームは顧客メールをモデルに渡し、注文番号、依頼の種類、金額、原文の根拠を得ようとする。本当の難しさは、データベースに登録できるフィールドでも顧客の意図を読み違え得ることだ。Pydantic AI は検査可能な出力の境界を先に整えるのに向き、DSPy は代表性のあるサンプルと採点基準がそろってから抽出プログラムを体系的に最適化するのに向く。両者は組み合わせられるが、どちらも妥当な JSON だけで内容の正しさを証明できない。

まずエラーを2種類に分ける

顧客が「注文 A123 の 299 元については返金申請ではありません。まず二重請求の理由を説明してください」と書いたとする。これは分析用の例であり、実測ではない。出力の依頼種類が「返金」なら、注文番号が文字列、金額が数値、種類が許可された列挙値でも、業務上の意味は誤っている。

出力には依頼種類、注文番号、金額、通貨、根拠箇所、追加情報が必要な項目を含めると、先に取り決められる。通貨が欠けていれば空欄を許容し、金額が必須フィールドだからといって数値を推測してはいけない。1通に複数の依頼が含まれる場合も、リストを出力するか事前に決めるべきだ。このフィールド仕様とアノテーション規則こそが、公平な比較の出発点になる。

Pydantic AI:1回の呼び出しの受け入れ条件を明記する

Pydantic AI の出力ドキュメントでは、Pydantic モデルなどの型による結果の定義をサポートし、ツール出力、モデルネイティブの構造化出力、プロンプトによる出力などの方式を提供する。具体的な方式はモデルの能力に依存する。検証失敗で再試行を起動でき、開発者が出力検証関数を書いて ModelRetry で結果の修正をモデルに求めることもできる。再試行には予算があり、繰り返せば必ず成功するとは考えられない。

顧客メールの抽出では、許可する依頼種類や金額範囲を制約に書き、根拠箇所がメール中に実在するかも確認できる。後者はチームが実装すべき検証ロジックであり、フレームワークが自動提供するファクトチェックではない。箇所が存在してもモデルの結論を裏付けるとは限らない。「返金申請ではありません」には、否定の意味を扱う検証や評価が必要だ。

したがって、この方法は下流が受け入れるフィールドを既に理解し、明確な失敗時の経路を必要とする開発チームに適する。再試行上限を超えたら、黙ってデフォルト値を補うのではなく、失敗理由を保存してサポート担当に引き継ぐべきだ。再試行と検証はインターフェースを制約できるが、抽出品質の評価を代替しない。

DSPy:業務の採点基準に沿ってプログラムを改善する

DSPy も構造を宣言できる。Signature ドキュメントは入出力のフィールドと型を説明し、より豊富な型には Pydantic モデルも含まれる。したがって、「Pydantic AI には型があり、DSPy にはない」という比較にはできない。

DSPy の違いは最適化の進め方にある。公式のオプティマイザードキュメントでは、プログラム、採点関数、訓練入力が中心となる材料である。例えば MIPROv2 は指示と少数例の組み合わせを探索する。他のオプティマイザーはモデルの重みのファインチューニングに関わる場合もあるが、プロンプト最適化を一律に新しいモデルの訓練と呼ぶことはできない。一部の最適化フローはラベルなし入力から始められるものの、サポートチームが信頼できる受け入れ基準を省略できるという意味ではない。

このタスクでは、まず業務に詳しい人がメールをアノテーションし、「返金」「請求の問い合わせ」「注文変更」の境界を明確にしてから採点を設計する。注文番号の一致、依頼種類、金額と通貨、根拠による裏付けの程度は別々に確認すべきだ。重要フィールドの誤りを平均点に埋もれさせると、業務に適さないプログラムを高く評価してしまう。最適化が追えるのは与えられた目標だけで、チームが見落とした規則を自力で発見することはできない。

訓練・最適化用のサンプルと最終受け入れ判定用のサンプルは分けるべきだ。顧客または会話単位で分割し、同じメールの言い換えが両側に入るのを防ぐことを勧める。フィールド欠落、否定、複数注文、多言語メールも含める必要がある。このようなデータ準備なしに最適化回数を増やしても、多くの場合は支出が増えるだけで、それをもって精度向上とはいえない。

呼び出しコストを把握し、製品レイヤーも混同しない

ここでの Pydantic AI は Python SDK を指す。Pydantic AI Harness はその上に構築された機能ライブラリで、ファイル、計画、記憶など、より複雑なエージェント作業を対象とする。単純なメールのフィールド抽出のために完全な長時間タスク用エージェントを導入する必要はない。Logfire は可観測性とデバッグを担い、そのサービス料金や機能を SDK 自体の価格や必須条件として扱ってはいけない。

DSPy のオプティマイザーも、チームに代わってモデル呼び出し料金を払うわけではない。予算比較では、共通の本番推論と運用保守を、それぞれ追加される再試行、データのアノテーション、最適化探索、評価呼び出し、任意の可観測性サービスと分けるべきだ。プロンプトの例を増やせば、デプロイ後の入力 token も増える可能性がある。最適化段階で高得点を得ても、メール1通当たりが自動的に安くなるわけではない。

例えば、試験で 1,000 通を処理し、そのうち 100 通で1回ずつモデル呼び出しが追加されたなら、この分だけで 100 回増える。ただし、各回の入出力の長さが異なり得るため、費用が 10% 増えると直接推計することはできない。これは予算計算の例であって、いずれかの製品の再試行率ではない。DSPy のオフライン最適化費用も別枠にし、本番投入後の節約や品質上の利得と比較すべきだ。

同じメール群を使って次の一手を決める

現在の主な問題がフィールドの仕様違反や例外を受け止められないことなら、まず Pydantic AI で最小限の抽出サービスを作り、null を許すフィールド、検証規則、失敗時の行き先を明確にする。形式は既に安定しているのに依頼の意味を頻繁に誤判定し、アノテーション済みサンプルと評価責任者がいるなら、DSPy で未最適化と最適化済みのプログラムを比較し、取り置いたテストセットで結果を確認する。

DSPy で抽出モジュールを最適化し、既存の型検証サービスに接続することもできる。これはエンジニアリング上の統合と回帰テストを要する設計上の選択であり、2つのフレームワークがそのまま保証するものではない。単純なモデル呼び出しと既存の検証で要件を満たせるなら、2種類の抽象化を同時に維持する必要はない。

受け入れ判定では少なくとも、構造の合格率、重要フィールドの正確性、失敗時の引き継ぎ比率、メール1通当たりの総呼び出しコスト、レイテンシーを分けて見るべきだ。本稿は 2026 年 11 月 10 日に確認した公式ドキュメントに基づく選定分析であり、精度の比較実験は実行していない。選択の基準は、チームが今欠いているのが出力制御なのか、測定可能な意味理解の改善経路なのかであって、どのフレームワーク名がより人気かではない。

内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。

元の出典:pydantic.dev