Pydantic AI 與 DSPy:客服來信擷取,先控管欄位還是先最佳化判斷?
欄位合法仍可能誤讀客戶意圖。Pydantic AI 適合先建立型別驗證、重試與失敗處理途徑;DSPy 適合在具備代表性樣本與評分標準後,最佳化擷取程式。比較時也須納入標註、最佳化搜尋與線上呼叫成本。
客服團隊將來信交給模型,希望取得訂單編號、請求類型、金額與原文依據。真正的難處是:欄位能寫入資料庫,卻可能誤讀客戶意圖。Pydantic AI 更適合先建立可檢查的輸出邊界;DSPy 更適合在已有代表性樣本與評分標準後,系統性地最佳化擷取程式。兩者可以搭配使用,也都不能憑一份合法 JSON 證明內容正確。
先將錯誤分成兩類
假設客戶寫道:「訂單 A123 的 299 元不是退款申請,請先解釋重複扣款。」這是分析案例,並非實測。若輸出將請求類型寫成「退款」,即使訂單編號是字串、金額是數字、類型屬於允許的列舉值,業務含義仍然錯誤。
可以先約定輸出包含請求類型、訂單編號、金額、幣別、證據片段與待補充資訊。缺少幣別時應允許留空,不能因為金額欄位必填就猜一個數字;一封信包含多個請求時,也應事先決定是否輸出清單。這份欄位約定與標註規則,才是雙方公平比較的起點。
Pydantic AI:明確寫出單次呼叫的接受條件
Pydantic AI 的輸出文件支援以 Pydantic 模型等型別定義結果,並提供工具輸出、模型原生結構化輸出及提示式輸出等方式。具體方式取決於模型能力。驗證失敗可觸發重試;開發者也可撰寫輸出驗證函式,以 ModelRetry 要求模型修改結果。重試有預算限制,不能假設持續重試就一定成功。
在客服擷取情境中,可以將允許的請求類型與金額範圍寫入限制條件,再檢查證據片段是否確實出現在來信中。後者是團隊需要實作的驗證邏輯,並非框架自動提供的事實查核。即使片段存在,也可能不支持模型給出的結論;「不是退款申請」就要求驗證或評估涵蓋否定含義。
因此,這條路線適合已知道下游接受哪些欄位、需要明確失敗處理途徑的工程團隊。超過重試限制時,應儲存失敗原因並轉交客服處理,而非悄悄填入預設值。重試與驗證能約束介面,卻不能取代擷取品質評估。
DSPy:讓程式依業務評分改進
DSPy 也能宣告結構。其 Signature 文件說明輸入輸出欄位與型別;更豐富的型別也包含 Pydantic 模型。因此,不能把比較寫成「Pydantic AI 有型別,DSPy 沒有型別」。
DSPy 的差異在於最佳化途徑。官方最佳化器文件將程式、評分函式與訓練輸入列為核心材料。以 MIPROv2 為例,它會探索指令與少樣本範例的組合;其他最佳化器可能涉及模型權重微調,但不能將提示最佳化一概稱為訓練新模型。部分最佳化流程可從無標籤輸入開始,這不代表客服團隊能省略可靠的驗收標準。
對這項任務,應先由熟悉業務的人標註來信,明確界定「退款」「查詢扣款」「修改訂單」,再制定評分。訂單編號匹配、請求類型、金額與幣別、證據支持程度應分別檢查;將關鍵欄位錯誤埋在平均分數裡,會獎勵不適合業務的程式。最佳化只能追隨指定目標,無法自行發現團隊遺漏的規則。
訓練與最佳化使用的樣本,應與最終驗收樣本分開。建議依客戶或對話劃分,避免同一封來信的改寫同時出現在兩邊。還須涵蓋欄位缺漏、否定、多筆訂單與多語來信。沒有這類資料準備,增加最佳化輪數往往只是增加支出,不能據此宣稱準確率提升。
算清呼叫成本,也別混淆產品層次
此處的 Pydantic AI 指 Python SDK。Pydantic AI Harness 是建構於其上的功能程式庫,面向檔案、規劃、記憶等更複雜的代理工作;簡單的來信欄位擷取不必為此導入完整的長時間任務代理。Logfire 負責可觀測性與除錯,不能將它的服務費用或功能視為 SDK 本身的價格及必要條件。
DSPy 的最佳化器也不會替團隊支付模型呼叫費用。比較預算時,應將共同的線上推論與執行維護,和各自增加的重試、資料標註、最佳化搜尋、評估呼叫及選用觀測服務分開。在提示中加入更多範例,也可能增加部署後的輸入 token;最佳化階段取得更高評分,不會自動使每封來信的成本更低。
例如,試驗處理 1,000 封來信,其中 100 封各發生一次額外模型呼叫,這部分就增加 100 次呼叫,但不能直接推算費用增加 10%,因為每次輸入輸出長度可能不同。這只是預算算例,並非任一產品的重試率。DSPy 的離線最佳化費用也應單獨列出,再與上線後的節省或品質效益比較。
用同一批來信決定下一步
如果目前主要問題是欄位不符規範、無法妥善處理例外,就先用 Pydantic AI 建立最小擷取服務,明確設定可空欄位、驗證規則與失敗去向。如果格式已穩定,問題集中在經常誤判請求含義,而且團隊具備標註樣本與評估負責人,再用 DSPy 比較未最佳化與最佳化程式,觀察保留測試集上的結果。
也可以讓 DSPy 最佳化擷取模組,再接入既有型別驗證服務;這是需要工程整合與迴歸測試的設計選擇,並非兩個框架開箱即用的保證。如果簡單模型呼叫加上既有驗證已符合要求,就不必同時維護兩套抽象。
驗收時,至少應分開檢視結構通過率、關鍵欄位正確性、失敗轉交比例、每封來信總呼叫成本與延遲。進行選型分析,未執行準確率對照實驗。選擇依據應是團隊目前缺少輸出控制,還是缺少可衡量的語意改進途徑,而非哪個框架名稱更熱門。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:pydantic.dev