Pydantic AI 与 DSPy:客服来信提取,先控字段还是先优化判断?
字段合法仍可能误读客户意图。Pydantic AI 适合先建立类型校验、重试与失败出口;DSPy 适合在有代表性样本和评分标准后优化提取程序。比较时还需计入标注、优化搜索和线上调用成本。
客服团队把来信交给模型,期望拿到订单号、请求类型、金额和原文依据。真正困难的是:字段能入库,却可能误读客户意图。Pydantic AI 更适合先建立可检查的输出边界;DSPy 更适合在已有代表性样本和评分标准后,系统优化提取程序。两者可以组合,也都不能凭一个合法 JSON 证明内容正确。
先把错误分成两类
假设客户写道:“订单 A123 的 299 元不是退款申请,请先解释重复扣款。”这是分析用例,并非实测。输出把请求类型写成“退款”,即便订单号是字符串、金额是数字、类型属于允许的枚举,业务含义仍然错了。
可以先约定输出包含请求类型、订单号、金额、币种、证据片段和待补充信息。缺失币种应允许留空,不能因为金额字段必填就猜一个数字;一封信包含多个请求时,也应提前决定是否输出列表。这份字段约定和标注规则,才是双方可公平比较的起点。
Pydantic AI:把一次调用的接收条件写清楚
Pydantic AI 的输出文档支持用 Pydantic 模型等类型定义结果,并提供工具输出、模型原生结构化输出和提示式输出等方式。具体方式取决于模型能力。校验失败可以触发重试;开发者还可编写输出校验函数,用 ModelRetry 请求模型修改结果。重试有预算,不能假设一直重试就必然成功。
在客服提取中,可以将允许的请求类型和金额范围写入约束,再检查证据片段是否确实出现在来信中。后者是团队需要实现的校验逻辑,不是框架自动提供的事实核查。即使片段存在,它也可能不支持模型给出的结论;“不是退款申请”就要求校验或评估覆盖否定含义。
因此,这条路线适合已经知道下游接受什么字段、需要明确失败出口的工程团队。超过重试限制时,应保存失败原因并转交客服处理,而非悄悄补默认值。重试和校验能约束接口,却不能替代提取质量评估。
DSPy:让程序围绕业务评分改进
DSPy 也能声明结构。它的 Signature 文档说明了输入输出字段和类型;更丰富的类型还包括 Pydantic 模型。因此,不能把比较写成“Pydantic AI 有类型,DSPy 没有类型”。
DSPy 的区别在于优化路径。官方优化器文档把程序、评分函数和训练输入作为核心材料。以 MIPROv2 为例,它会探索指令与少样本示例的组合;其他优化器可以涉及模型权重微调,但不能把提示优化一概称为训练新模型。部分优化流程可从无标签输入开始,这不意味着客服团队可以省掉可靠的验收标准。
对这个任务,先由懂业务的人标注来信,明确“退款”“查询扣款”“修改订单”的边界,再制定评分。订单号匹配、请求类型、金额与币种、证据支持程度应分别检查;把关键字段错误埋在一个平均分里,会奖励不适合业务的程序。优化只能追随给定目标,不能自行发现团队遗漏的规则。
训练和优化使用的样本,与最终验收样本应分开。建议按客户或会话划分,避免同一封来信的改写同时出现在两边。还要覆盖缺失字段、否定、多个订单和多语言来信。没有这类数据准备,增加优化轮数往往只是增加开支,不能据此宣称准确率提升。
算清调用成本,也别混淆产品层级
Pydantic AI 在这里指 Python SDK。Pydantic AI Harness是建立在它之上的能力库,面向文件、规划、记忆等更复杂的代理工作;简单的来信字段提取不必为此引入完整长任务代理。Logfire承担观测与调试,不能把它的服务费用或能力当作 SDK 本身的价格和必需条件。
DSPy 的优化器也不替团队支付模型调用。比较预算时,应把共同的线上推理和运行维护,与各自增加的重试、数据标注、优化搜索、评估调用及可选观测服务分开。提示中加入更多示例,还可能增加部署后的输入 token;优化阶段得到更高评分,不自动意味着每封来信更便宜。
例如,试验处理 1,000 封来信,其中 100 封各发生一次额外模型调用,那么这部分就增加 100 次调用,但不能直接推算费用增长 10%,因为每次输入输出长度可能不同。这只是预算算例,不是任一产品的重试率。DSPy 的离线优化费用也应单列,再与上线后的节省或质量收益比较。
用同一批来信决定下一步
如果当前主要问题是字段不合规、异常无法接住,先用 Pydantic AI 建立最小提取服务,明确可空字段、校验规则和失败去向。如果格式已经稳定,问题集中在请求含义经常判错,而且团队拥有标注样本与评估负责人,再用 DSPy 比较未优化程序与优化程序,观察保留测试集上的结果。
也可以让 DSPy 优化提取模块,再接入已有的类型校验服务;这属于需要工程集成和回归测试的设计选择,不是开箱即用的双框架保证。若简单模型调用加现有校验已经满足要求,就不必同时维护两套抽象。
验收时至少分开看结构通过率、关键字段正确性、失败转交比例、每封来信的总调用成本和延迟。作选型分析,未运行准确率对照实验。选择依据应是团队当前缺少输出控制,还是缺少可衡量的语义改进路径,而非哪个框架名字更热门。
内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。
原文出处:pydantic.dev