Promptfoo 与 DeepEval:提示词改版后,怎样让回归失败真正阻止合并

Promptfoo 适合以配置审查提示词与模型组合,DeepEval 适合把评估接进 Python 测试。选型关键是分清单项评分、整套通过率和真正阻止合并的 CI 检查,并固定样例与裁判基线。

来源: www.promptfoo.dev
2026年11月15日
6 min

提示词改得更简洁后,几条演示回答变漂亮了,订单字段却开始漏填。负责发布的人需要知道:哪批旧案例必须继续通过,失败时谁会阻止合并?Promptfoo 和 DeepEval 都能把模型输出变成自动测试,但最有用的区别是测试规则放在哪里,以及失败如何传到 CI。

如果团队希望把提示词、模型和样例放在一份可审查的配置中横向比较,优先评估 Promptfoo;如果应用已有 Python 测试、数据准备和业务断言,DeepEval 更适合把评估嵌进这些测试。这不是运行效果排名。

先确认还在比较什么产品

Promptfoo 的收购公告明确说将继续维护开源工具并支持多种模型;当前仓库写明已成为 OpenAI 的一部分,仍以 MIT 许可开源。不能据此推断产品关闭,或只能测试 OpenAI 模型。DeepEval 的官方仓库提供开源评估框架,托管平台 Confident AI 则是另一层服务。

两者都能进入发布前的回归检查。本篇只比较提示词改版后如何守住已确认的行为,不用红队功能数量、生产监控能力或厂商基准分数替代这项选择。

谁来维护失败规则

Promptfoo 的介绍与断言文档说明,它用 CLI 或库运行评估,可验证相等条件、JSON 结构以及自定义函数。配置方式便于把旧提示词与新提示词放进同一批样例里比较。代价是复杂的数据准备和业务判断仍需要代码,YAML 不会自动理解订单规则。

DeepEval 的CI 单元测试文档将数据载入、构建测试案例和运行测试分开;可以从 CSV、JSON 或代码取得样例,用 assert_test 接入测试,再由 deepeval test run 执行。已有 Python 测试维护者能沿用这条责任链,但产品同事未必能直接修改测试函数。配置型与 Python 型是主要工作方式差异,不是双方能力的绝对边界。

例如,假设客服摘要必须包含 order_id,而且不能把“申请退款”写成“退款已到账”。前一项先用结构或明确规则检查,后一项再考虑带明确标准的模型裁判。先把可以确定验证的条件分离出来,可避免让一个模糊的“质量分”同时承担格式和业务语义的责任。

有分数,不等于会阻止合并

Promptfoo 的 GitHub Action提供 fail-on-threshold,单位是整套测试的通过百分比,范围为 0 到 100。DeepEval 的 G-Eval则可给单项指标设置 threshold;threshold=None 是只评分模式。整套通过率和单项指标分数不能当成同一种量比较,即使都写成 0.9 或 90%。

以假设的 100 个等权测试为例,整套通过率达到 95% 仍可能有 5 个失败。如果漏填订单号绝不允许,就应把这类关键测试单独设为必须通过,而不是让它们被平均数掩盖。这是团队需要设计的发布政策,不是选一个框架就自动获得的保障。

DeepEval 文档还特别区分 assert_test 所在的单元测试与 evaluate:前者在指标不达标时让测试失败,后者收集结果,并不自行让构建失败。无论用哪家,都要验证失败会产生失败的 CI 状态,而且该检查已被设置为合并前必需。报告文件存在、页面有红色分数,都不足以证明合并会被阻止。

固定裁判,才能解释新旧差异

Promptfoo 的 llm-rubric允许显式指定裁判 provider 与相关参数。DeepEval 的 G-Eval 支持指定 model 和 evaluation_steps;未给出步骤时,会根据 criteria 生成步骤。对回归比较,应保存裁判模型、规则及步骤,而不是只保存最后一个数字。模型裁判给出的是按规则作出的判断,不能直接当作事实真值或人工准确率。

建议把应用提交、提示词、样例快照、期望输出、评估库版本、裁判模型及评分规则作为同一份基线保存;模型版本能固定时也应固定,并记录采样与缓存设置。Promptfoo Action 的 promptfoo-version 默认是 latest,正式基线不宜依赖浮动版本。固定这些条件能减少无法解释的变化,但不能保证远程模型每次完全一致。

还应事先区分三种结果:业务回答不合格、模型调用超时或认证失败、裁判在边界案例上波动。基础设施错误不能算成回答通过;反复重跑到变绿也不算问题解决。可以先用团队确认过的好坏答案校准裁判,再制定重复运行和人工复核条件。两家输出的同名分数,也必须在数据、裁判和规则相同后才有比较意义。

开源测试与托管服务分别验收

Promptfoo 的方案页把全部 LLM 评估功能列入 Community,并允许本地运行或自行托管;团队协作、SSO 和托管云部署列在 Enterprise。DeepEval 的快速入门说明本地评估可以独立运行,登录后可将运行结果送到 Confident AI。CI 文档中的 official 基线标记需要 CONFIDENT_API_KEY,因为该基线保存在 Confident AI。不能把云端基线管理当成不需账号的本地能力。

开源也不等于零运行成本:被测模型和裁判的调用、CI 资源及失败复核都需要预算。选型试验可以用同一批已确认样例,分别加入漏字段、语义错误和一次模拟调用失败,检查哪条规则失败、CI 是否拦截、结果能否追到固定基线。这个试验是建议的验收方法,不是本文已经完成的测试。

当主要工作是审查提示词与模型组合的配置差异,先试 Promptfoo;当主要工作是复用 Python 数据准备、业务断言和测试流程,先试 DeepEval。最终应选择团队能持续维护失败规则的那条路,并用一次故意失败的检查证明它确实能守住发布入口。

内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。

原文出处:www.promptfoo.dev