Promptfoo と DeepEval:プロンプト改修後、回帰テストの失敗で本当にマージを止めるには
Promptfoo は設定を通じたプロンプトとモデルの組み合わせのレビュー、DeepEval は Python テストへの評価の組み込みに向く。選定の鍵は、個別スコア、テスト全体の合格率、実際にマージを止める CI チェックを区別し、事例と評価モデルの基準を固定することだ。
プロンプトを簡潔にしたら、いくつかのデモ回答は良くなったのに、注文フィールドの記入漏れが始まった。リリース担当者が知るべきなのは、どの過去ケースが引き続き合格しなければならず、失敗したら誰がマージを止めるのかだ。Promptfoo と DeepEval はどちらもモデル出力を自動テストにできるが、最も役立つ違いは、テスト規則をどこに置き、失敗をどう CI に伝えるかにある。
プロンプト、モデル、事例をレビュー可能な一つの設定にまとめて横並び比較したいチームは、Promptfoo を優先評価したい。アプリにすでに Python のテスト、データ準備、業務アサーションがあるなら、それらに評価を組み込む DeepEval が向く。以下は 実行効果の順位ではない。
まず何という製品を比較しているのか確認する
Promptfoo の買収発表は、オープンソースツールの保守と複数モデルへの対応を続けると明記している。現在のリポジトリには OpenAI の一部になったことと、引き続き MIT ライセンスで公開されることが記されている。製品が終了した、あるいは OpenAI モデルしかテストできないと推測してはいけない。DeepEval の公式リポジトリはオープンソースの評価フレームワークを提供し、ホスティングプラットフォーム Confident AI は別のサービス層だ。
両者ともリリース前の回帰チェックに組み込める。本記事はプロンプト改修後に確認済みの挙動をどう守るかだけを比較し、レッドチーム機能の数、本番監視機能、ベンダーのベンチマーク点数でこの選択を代替しない。
失敗の規則を誰が保守するか
Promptfoo の紹介とアサーション文書によると、CLI またはライブラリで評価を実行し、等価条件、JSON 構造、カスタム関数を検証できる。設定方式は旧プロンプトと新プロンプトを同じ事例群で比較しやすい。その代わり、複雑なデータ準備や業務判断にはコードが必要で、YAML が注文ルールを自動理解するわけではない。
DeepEval の CI 単体テスト文書は、データ読み込み、テストケース作成、実行を分ける。CSV、JSON、コードから事例を取得し、assert_test でテストに組み込み、deepeval test run で実行できる。既存の Python テスト保守者はその責任の流れを使えるが、プロダクト担当者がテスト関数を直接変更できるとは限らない。設定型と Python 型は主な働き方の違いであり、両者の能力の絶対的な境界ではない。
たとえば、顧客対応の要約には order_id が必須で、「返金申請」を「返金入金済み」と書いてはいけないとする。前者は構造や明確な規則で先に確認し、後者で明確な基準を持つモデル評価を検討したい。確定的に検証できる条件を先に分ければ、曖昧な「品質スコア」一つに形式と業務上の意味の両方を担わせずに済む。
点数があってもマージが止まるとは限らない
Promptfoo の GitHub Actionは fail-on-threshold を提供し、単位はテスト全体の合格百分率で、範囲は 0 から 100 だ。一方、DeepEval の G-Evalは個別指標に threshold を設定でき、threshold=None は採点だけのモードになる。全体の合格率と個別指標の点数は、0.9 や 90% と書かれていても同じ量として比較できない。
仮に同じ重みのテストが 100 件あれば、全体合格率が 95% でも 5 件は失敗しうる。注文番号の欠落を絶対に許さないなら、その重要テストを別に必須合格とし、平均に埋もれさせてはいけない。これはチームが設計すべきリリース方針であり、フレームワークを選ぶだけで自動的に得られる保障ではない。
DeepEval の文書は、assert_test を含む単体テストと evaluate も明確に区別する。前者は指標が基準未達ならテストを失敗させ、後者は結果を集めるだけで自らビルドを失敗させない。どちらを使っても、失敗が CI の失敗状態になり、そのチェックがマージ前の必須項目に設定されていることを検証する必要がある。報告ファイルがある、ページに赤い点数があるだけでは、マージが止まる証明にならない。
評価モデルを固定してこそ新旧の差を説明できる
Promptfoo の llm-rubricは評価用 provider と関連パラメーターを明示できる。DeepEval の G-Eval は model と evaluation_steps を指定でき、ステップを指定しないと criteria から生成する。回帰比較では最終的な数字だけでなく、評価モデル、規則、ステップを保存すべきだ。モデル評価は規則に基づく判断であり、そのまま事実の正解や人による正確性として扱えない。
アプリのコミット、プロンプト、事例スナップショット、期待出力、評価ライブラリのバージョン、評価モデル、採点規則を一つの基準として保存したい。モデルのバージョンも固定可能なら固定し、サンプリングとキャッシュの設定を記録する。Promptfoo Action の promptfoo-version はデフォルトが latest なので、正式な基準を変動するバージョンに依存させるのは避けたい。条件固定は説明できない変化を減らすが、遠隔モデルが毎回完全に一致する保証にはならない。
業務回答の不合格、モデル呼び出しのタイムアウトや認証失敗、境界ケースでの評価モデルの揺れ、という三つの結果も事前に分けたい。基盤のエラーを回答の合格と数えてはいけず、緑になるまで再実行しても問題解決にはならない。チームが確認した良い回答と悪い回答で評価モデルを較正してから、繰り返し実行と人による確認の条件を定められる。両製品が同名のスコアを出しても、データ、評価モデル、規則が同じで初めて比較に意味がある。
オープンソースのテストとホスティングサービスは別々に確認する
Promptfoo のプランページはすべての LLM 評価機能を Community に含め、ローカル実行やセルフホスティングを認める。チーム連携、SSO、ホスト型クラウド展開は Enterprise に挙げられる。DeepEval のクイックスタートでは、ローカル評価は独立して実行でき、ログイン後に結果を Confident AI に送れる。CI 文書の official 基準マーカーには CONFIDENT_API_KEY が必要で、その基準は Confident AI に保存されるためだ。クラウドの基準管理を、アカウント不要のローカル機能と考えてはいけない。
オープンソースでも実行費用はゼロではない。テスト対象と評価モデルの呼び出し、CI リソース、失敗の再確認には予算が必要だ。選定実験では同じ確認済み事例群に、フィールド欠落、意味の誤り、一回の模擬呼び出し失敗を加え、どの規則が失敗し、CI が止めるか、結果を固定基準へ追跡できるかを確認できる。これは推奨する受け入れ確認の方法で、本記事で実施済みのテストではない。
主な仕事がプロンプトとモデルの組み合わせの設定差分レビューなら Promptfoo を先に試し、Python のデータ準備、業務アサーション、テストフローの再利用なら DeepEval を先に試したい。最終的にはチームが失敗規則を継続保守できる道を選び、意図的に失敗させるチェックを一度行って、実際にリリース入口を守れることを証明すべきだ。
内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。
元の出典:www.promptfoo.dev