Arize Phoenix と Braintrust:失敗 trace をチームが認めるテスト基準にするのはどちらか
Phoenix はセルフホスティングと実験コードを保守する意思のあるエンジニアリングチームに向く。Braintrust のレビュー割り当て、複数人の結果、名前付きスナップショットは役割をまたぐ連携に近い。失敗記録が承認済み事例になる流れと、バージョン、採点基準、再実行可能な設定の保守担当を確認したい。
顧客対応アシスタントが「返金申請を提出済み」を「返金入金済み」と答えた。エンジニアは失敗 trace を見つけ、プロダクトマネージャーも誤りを指摘できる。しかし次にプロンプトを変えるとき、チームは同じ事例、同じ正解、同じ採点を見つけられるだろうか。Arize Phoenix と Braintrust はどちらも追跡、評価、人による注釈、データセットを提供する。本記事では、不適切な回答を引き継げるチーム基準にする方法を比較する。
インスタンス、事例変換、実験コードをエンジニアリングチームが保守できるなら、Phoenix のセルフホスティングを優先評価したい。プロダクト担当者と業務専門家が継続的にレビューを割り当て、複数人の意見を扱い、名前付きスナップショットを維持するなら、Braintrust の連携フローがその仕事に近いが、プラン確認が必要だ。以下は 返金例は分析用の場面で実測ではない。
誤りを出所の分かる事例にする
Phoenix の人による注釈の UIでは、カテゴリ、連続スコア、自由テキストを設定し、注釈の作者と、人・モデル・コードという出所を表示できる。注釈で spans を絞り込み、データセットに取り込むこともできる。業務担当者は「状態を誇張している」と説明でき、レビューを低評価一つに押し込めずに済む。
ただし、事例の入出力と元の trace の間には検証可能なつながりが必要だ。Phoenix の出所リンクの文書は、metadata 内の ID と明示的な source リンクを区別し、どんな取り込みにも source が付くわけではない。エンジニアは実際の事例一件から正しいプロジェクトの元 span に戻れるか確認し、文脈を失った回答だけを残してはいけない。
Braintrust のレビュー管理では、ログ、実験、データセットの行をメンバーに割り当て、未レビュー、自分への割り当て、完了状態で確認し、そのままデータセットに追加できる。データセット構造は input、expected、metadata、tags を分け、input に trace 参照も保存できる。両者ともオンラインの問題をオフライン実験につなげられ、違いはチームがエンジニアリング上の制御と日常レビューの割り当て入口のどちらをより必要とするかだ。
返金事例では、プロダクト責任者が「申請は提出済みであり、入金済みと主張してはいけない」と明記し、エンジニアが当時のユーザー入力、必要なコンテキスト、再現可能なツール応答を保存する。誤出力をそのまま正解に格上げしてはいけず、trace 参照が再生可能な業務環境に等しいとも考えられない。調査資料と確認済み expected の用途を分けて残し、基準へ追加する前に機密フィールドを確認すべきだ。
二人の採点があっても正解が確立したとは限らない
Phoenix は異なる注釈者の意見と理由を確認でき、同じ span をめぐるエンジニアと業務担当者の議論に向く。Braintrust の複数レビュアーの規則はより明確だ。各人の採点は独立保存され、数値とカテゴリのスコアは平均されて親 span に反映される。テキストや expected に書くカテゴリ結果は平均できず、一つの結果を基礎値として選ぶ必要がある。
したがって二人の専門家が 0 と 1 を付けた場合、平均 0.5 は意見の相違を示すだけで、返金状態が「半分正しい」とは意味しない。誰が裁定し、理由をどう記録し、いつ事例を承認済みデータセットへ入れてよいかをチームで定めるべきだ。これは業務上の責任であり、プラットフォームが代わりに決めることではない。Braintrust のスコア可視性はレビュー用フォームの表示フィルターにすぎず、非表示のスコアは再表示できるため、権限による隔離として扱ってはいけない。
データのバージョンを固定してから改善を議論する
Phoenix のデータセットの説明は、挿入、更新、削除のすべてをバージョン管理し、実験を特定バージョンに固定できると明記する。Braintrust も変更を追跡するが、名前付きスナップショットは Pro と Enterprise の機能で、スナップショット以降の変更が 20,000 行を超えると復元は失敗する。履歴、チームが命名した承認基準、復元能力は別の約束であり、「バージョン管理あり」で一括りにしてはいけない。
たとえば返金事例を 20 件承認し、後で境界事例を 5 件追加したとする。旧実験の 18/20 と新実験の 22/25 は、モデルの退歩や進歩を直接証明しない。同じ承認済みバージョンで旧設定と新設定を再実行し、新規事例は別に説明すべきだ。Braintrust の評価への接続は、バージョンまたは名前付きバージョンでの読み込みに対応し、環境が参照するのはスナップショットだ。便利な環境名も実際のバージョンに解決して記録し、後から参照先が変わることに備える必要がある。
Phoenix の実験 APIは dataset、task、evaluators を分け、完了済み実験の再採点も支援する。Braintrust の Eval もデータ、タスク、スコアラーを分ける。古い出力の再評価とアプリの再呼び出しは別の実験だ。引き継ぎではデータバージョンに加え、アプリコード、プロンプト、モデルとプロバイダー、サンプリングパラメーター、ツールまたはナレッジのスナップショット、採点規則と評価モデルも記録すべきだ。外部インターフェースを再実行するときは管理されたテスト環境を使い、返金事例が実操作を再度起動してはいけない。
これらの記録はエンジニアリング責任者が保守し、業務責任者が expected と採点基準を承認する。完全な設定を残せば「違うものを比較している」問題を減らせるが、遠隔モデルが毎回同じ回答を返す保証はない。レビューでは総合点だけでなく、事例ごとの変化と失敗理由を見るべきだ。
協業の仕組みを予算と権限とともに具体化する
Phoenix のセルフホスティング説明は無料で展開できるが、サーバー、更新、バックアップ、モデル呼び出しは誰かが負担する必要がある。現行のライセンスは Elastic License 2.0 で、第三者へのホスティングやマネージドサービス提供の制限を含み、安易に OSI の意味でのオープンソースと呼ぶべきではない。権限文書は admin、member、viewer を挙げ、SAML SSO と多層 RBAC は Arize AX に案内する。AX の企業向け機能を Phoenix の機能に算入してはいけない。
Braintrust の現在の料金では Starter は月額 0 米ドルで、人によるレビューの採点項目はプロジェクトあたり一つだけだ。Pro は月額 249 米ドルで、人の採点項目が無制限、基本 RBAC に対応する。処理データと自動採点には別の使用枠と超過料金があり、モデル費用も別途確認する必要がある。ユーザー数、データセット数、実験数が無制限だからといって、レビューの流れや実行費用まで無制限と推測してはいけない。
展開でもサービス境界を分ける必要がある。Braintrust の展開説明では、BYOC は顧客のクラウドアカウント内のデータプレーンをベンダーが運用する方式で、UI、認証、軽量メタデータは引き続きベンダーが管理する。有効な機能が外部モデルを呼ぶ場合もある。公式製品説明は BYOC とセルフホスト型データプレーンを Enterprise の選択肢とする。「自分のクラウド」を、プラットフォーム全体のオフライン運用や安全要件の自動充足と考えてはいけない。
選定では、匿名化した失敗記録一件を業務担当者に注釈付けと意見の相違の裁定まで行ってもらい、別のエンジニアに固定バージョンで実験を再実行してもらおう。主な障壁が展開と実験の制御で、チームが保守を引き受けられるなら Phoenix を先に試したい。レビュー割り当て、複数人の結果、承認基準の引き継ぎが障壁なら Braintrust と該当する有料プランを優先検証したい。確認するのは、次の同僚が事例を説明して再実行できるかであり、ダッシュボードに点数が一つ表示されたかではない。
内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。
元の出典:arize.com