Promptfoo 與 DeepEval:提示詞改版後,如何讓迴歸失敗真正阻止合併
Promptfoo 適合透過設定審查提示詞與模型組合,DeepEval 適合將評估接入 Python 測試。選型關鍵是分清單項評分、整套通過率與真正阻止合併的 CI 檢查,並固定範例與評審基準。
提示詞改得更精簡後,幾則示範回答變漂亮了,訂單欄位卻開始漏填。負責發布的人需要知道:哪批舊案例必須持續通過,失敗時誰會阻止合併?Promptfoo 和 DeepEval 都能把模型輸出變成自動測試,但最有用的差異是測試規則放在哪裡,以及失敗如何傳到 CI。
如果團隊希望把提示詞、模型和範例放在一份可審查的設定中並列比較,優先評估 Promptfoo;如果應用程式已有 Python 測試、資料準備與業務斷言,DeepEval 更適合將評估嵌入這些測試。這並非執行成效排名。
先確認還在比較什麼產品
Promptfoo 的收購公告明確表示將持續維護開源工具並支援多種模型;目前的儲存庫寫明已成為 OpenAI 的一部分,仍以 MIT 授權開源。不能據此推斷產品關閉,或只能測試 OpenAI 模型。DeepEval 的官方儲存庫提供開源評估框架,託管平台 Confident AI 則是另一層服務。
兩者都能納入發布前的迴歸檢查。本篇只比較提示詞改版後如何守住已確認的行為,不用紅隊功能數量、生產環境監控能力或廠商基準分數取代這項選擇。
誰來維護失敗規則
Promptfoo 的介紹與斷言文件說明,它透過 CLI 或程式庫執行評估,可驗證相等條件、JSON 結構與自訂函式。設定方式便於把舊提示詞與新提示詞放進同一批範例比較。代價是複雜的資料準備與業務判斷仍需要程式碼,YAML 不會自動理解訂單規則。
DeepEval 的 CI 單元測試文件將資料載入、建立測試案例與執行測試分開;可以從 CSV、JSON 或程式碼取得範例,用 assert_test 接入測試,再由 deepeval test run 執行。既有 Python 測試維護者能沿用這條責任鏈,但產品同事未必能直接修改測試函式。設定型與 Python 型是主要工作方式的差異,不是雙方能力的絕對界線。
例如,假設客服摘要必須包含 order_id,而且不能把「申請退款」寫成「退款已入帳」。前一項先用結構或明確規則檢查,後一項再考慮使用標準明確的模型評審。先分離能確定驗證的條件,可避免讓一個模糊的「品質分數」同時承擔格式與業務語意的責任。
有分數,不等於會阻止合併
Promptfoo 的 GitHub Action提供 fail-on-threshold,單位是整套測試的通過百分比,範圍為 0 到 100。DeepEval 的 G-Eval則可為單項指標設定 threshold;threshold=None 是只評分模式。整套通過率與單項指標分數不能當成同一種量比較,即使都寫成 0.9 或 90%。
以假設的 100 個等權重測試為例,整套通過率達到 95% 仍可能有 5 個失敗。如果絕不允許漏填訂單編號,就應把這類關鍵測試另外設為必須通過,而不是讓平均數掩蓋它們。這是團隊需要設計的發布政策,不是選一個框架就會自動取得的保障。
DeepEval 文件也特別區分 assert_test 所在的單元測試與 evaluate:前者在指標未達標時讓測試失敗,後者蒐集結果,不會自行讓建置失敗。無論使用哪家,都要驗證失敗會產生失敗的 CI 狀態,而且該檢查已設為合併前的必要條件。報告檔存在、頁面有紅色分數,都不足以證明合併會被阻止。
固定評審,才能解釋新舊差異
Promptfoo 的 llm-rubric允許明確指定評審 provider 與相關參數。DeepEval 的 G-Eval 支援指定 model 和 evaluation_steps;未提供步驟時,會依 criteria 產生步驟。進行迴歸比較時,應保存評審模型、規則與步驟,而不是只保存最後一個數字。模型評審給出的是依規則做出的判斷,不能直接當成事實真值或人工準確率。
建議將應用程式提交、提示詞、範例快照、預期輸出、評估程式庫版本、評審模型與評分規則保存為同一份基準;模型版本能固定時也應固定,並記錄取樣與快取設定。Promptfoo Action 的 promptfoo-version 預設為 latest,正式基準不宜依賴浮動版本。固定這些條件能減少無法解釋的變化,但不能保證遠端模型每次完全一致。
也應事先區分三種結果:業務回答不合格、模型呼叫逾時或驗證失敗、評審在邊界案例上波動。基礎設施錯誤不能算成回答通過;反覆重跑直到變綠也不算問題解決。可以先用團隊確認過的好壞答案校準評審,再制定重複執行與人工複核條件。兩家輸出的同名分數,也必須在資料、評審與規則相同後才有比較意義。
開源測試與託管服務分開驗收
Promptfoo 的方案頁將所有 LLM 評估功能列入 Community,並允許本機執行或自行託管;團隊協作、SSO 與託管雲端部署列在 Enterprise。DeepEval 的快速入門說明本機評估可獨立執行,登入後可將執行結果傳到 Confident AI。CI 文件中的 official 基準標記需要 CONFIDENT_API_KEY,因為該基準儲存在 Confident AI。不能把雲端基準管理當成不需帳號的本機能力。
開源也不等於零執行成本:受測模型與評審的呼叫、CI 資源和失敗複核都需要預算。選型試驗可以使用同一批已確認範例,分別加入漏填欄位、語意錯誤與一次模擬呼叫失敗,檢查哪條規則失敗、CI 是否攔截、結果能否追溯到固定基準。這個試驗是建議的驗收方法,不是本文已完成的測試。
主要工作是審查提示詞與模型組合的設定差異時,先試 Promptfoo;主要工作是重複利用 Python 資料準備、業務斷言與測試流程時,先試 DeepEval。最終應選擇團隊能持續維護失敗規則的那條路,並用一次刻意失敗的檢查,證明它確實能守住發布入口。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:www.promptfoo.dev