Galileo と Maxim AI:複数ターンの顧客対応テストで、直すべき手順をどう特定するか
ターンをまたぐ境界事例が不足するなら Maxim のユーザーシミュレーション、既存の失敗会話からツール選択と実行の問題を切り分けるなら Galileo を優先評価したい。会話終了、業務成功、モデル採点を区別し、会話経路全体で費用を計算すべきだ。
顧客対応エージェントが注文を確認した後、ユーザーは交換に希望を変えたのに、ツールは返金 API のタイムアウトを返した。最後の回答が丁寧でも、状態の消失、重複送信、誤った約束を隠しているかもしれない。評価プラットフォーム選びでは、この複数ターンの経路を再構成し、不具合を次回検証可能な修正課題に変えられるかが重要だ。
Galileo は、実会話がすでにあり、ツール呼び出しをたどって問題を特定し、オンライン採点を設定したいチームに向く。Maxim AI は境界事例が足りず、模擬ユーザーに連続して問いかけてもらいたいチームに向く。どちらもエージェントを評価でき、違いはどの仕事を先に補うかだ。以下は 場面と受け入れ確認の数字はすべて仮定で、製品の実測は行っていない。
会話を観測するか、新しい対話経路を生成するかを決める
Galileo の会話構造は session に関連 traces を集め、ツール呼び出しの spans と入出力へ掘り下げる。顧客対応チームに失敗会話が蓄積されていれば、ユーザーがどのターンで希望を変え、その後の呼び出しが古い注文や意図を使い続けたかを判断する助けになる。接続時には同じ会話の記録を正しく関連付ける必要があり、最後の回答だけでは途中の状態は説明できない。
Maxim のシミュレーションでは、場面、ユーザープロファイル、最大ターン数を設定し、AI に後続のユーザー入力を生成させられる。一括シミュレーションはデータセットに場面と期待手順を記録し、エージェントの HTTP endpoint に対して実行する。「最初は注文番号を拒み、後で提供する」「返金から交換に変える」といった経路を能動的に試すのに向く。模擬ユーザーは実顧客ではなく、シミュレーション合格率はオンライン成功率ではない。
これは Galileo に実験や合成データがないという意味ではない。データセット文書は実験入力、期待出力、合成事例を支援する。ただしテスト行の生成と、一人のユーザーが連続して問いかけることは同等ではない。今回確認した Maxim の文書は後者の動作と停止条件をより具体的に説明する。自作シミュレーターがあるチームは、入口をもう一つ増やすだけのために評価システムを移行する必要はない。
ツール選択、実行成功、会話終了を別々に確認する
Maxim のツールテストは、実行可能な API/コードと、選択テストだけの schema を分け、Playground でツール応答を手動変更することも認める。成功、タイムアウト、業務上の拒否という三つの応答を準備できるが、プラットフォームが実バックエンドを自動置換すると推測してはいけない。一括テストでも、チームがサンドボックス API やテストアダプター層で応答を固定し、模擬返金から実際の支払いが発生しないようにすべきだ。
終了も別に定義する必要がある。カスタムシミュレーションでは、シミュレーションモデル、動作、終了条件を指定でき、end_simulation ツールが自動追加される。終わるのは模擬対話であって、業務成功の認証ではない。「適切に人へ引き継いだ」「ユーザーが離脱した」「ターン上限に達した」「業務が完了した」を別々に保存し、チャット停止をすべて問題解決と数えてはいけない。
Galileo の Tool Selection Qualityはツールとパラメーターが適切か、Tool Errorは実行時にエラーがあったかを判断する。前者の true は選択が正しいこと、後者の true はエラー検出を意味するため、集計前に方向をそろえる必要がある。どちらもモデル判断であり、返金台帳や API ステータスコードの代わりではない。
たとえば注文照会が正しくても API がタイムアウトしたら、回復と人への引き継ぎを先に直す。API は成功したのに古い返金リクエストを送り続けるなら、意図更新と状態管理を確認する。成功していないのに「完了」と伝えるなら、回答がツール結果に制約されているか確認する。エンジニアには各ターンの意図、パラメーター、応答、状態変化が必要で、業務責任者には許容結果の確認が必要だ。総合点の低下は調査のきっかけであり、それだけでプロンプトと API のどちらを直すかは決められない。
オンラインの失敗で模擬試験を補い、置き換えには使わない
Maxim のオンライン評価は session、trace、span を分ける。会話全体はターン横断の判断、個別応答は局所品質に使い、span レベルの設定は SDK で行う。Galileo のログストリーム指標は既成またはカスタム評価を有効化でき、指標ごとにサンプリングを設定できる。どちらも十分なコンテキストを取り込んでから採点範囲を決める必要がある。
Maxim はログと人の修正結果からデータセットを整理でき、Galileo は generated_output、ground_truth、metric_ground_truth を別フィールドにして、アプリ出力、期待回答、期待スコアを区別する。失敗事例を戻す際は、元会話を診断用に保存し、発火条件と期待経路を抽出して再実行に使いたい。元の誤出力を正解にしてはいけず、ログを取り込めばバックエンド状態も再構成されると想定してはいけない。
人のレビューは、モデル採点とツールの事実の矛盾、早期終了、ユーザーの意図変更、高リスクの約束に集中させたい。失敗が実際にエージェント由来だと確認してから、対応する模擬バリエーションを追加する。正しい人への引き継ぎをスコアラーが失敗としたなら、先に採点規則を直し、高得点のためにエージェントへ実行継続を強いてはいけない。オンラインの低得点サンプルもサンプリングと流量構成の影響を受けるため、正常会話も確認し、苦情が最も多い経路だけを直す学習に偏らないようにする。
会話経路で予算を計算し、実行時制御は別に扱う
仮の比較試験では、20 場面それぞれに 3 種のツール応答を用意して 2 回繰り返すと、模擬会話は 120 件で、各上限は 8 ターンになる。最大 960 ターンはモデル呼び出し 960 回とは同じではない。模擬ユーザー生成、エージェント内部の計画、複数の採点器、再試行も含まれるためだ。それぞれの token、費用、ツール回数、会話時間、人のレビュー時間を記録し、プラットフォーム契約やログ保存など該当費用を加える。ゲートウェイ速度から評価全体の費用を判断してはいけない。
特にサンプリングがどの階層に効くか確認したい。Maxim の文書は、サンプリングとレート制限は trace レベル評価だけに適用され、session レベルは引き続き全会話を評価すると明記する。Galileo の Tool Selection Quality は評価モデルに複数回問い合わせるため、費用も増える。したがって 10% サンプリングにしても、複数ターン試験全体の請求を単純に十分の一とは見積もれない。
製品の境界も重要だ。本記事が扱うのは Maxim の評価とシミュレーション製品であり、Bifrost はモデルアクセスとガバナンスのゲートウェイだ。そのオープンソースや無料条件を評価サービスに適用してはいけない。Galileo の現行 Agent Controlは別途、ワークフロー実行中の入出力制御を提供する。ログ収集と採点は、すでにブロックを設定したことを意味しない。実行時に止めたいなら、制御の組み込み、発火条件、誤ブロック、失敗後の業務処理を別に検証すべきだ。
上記 120 会話の受け入れ確認では、権限外の返金と虚偽の完了約束をすべてブロック対象リストに入れることを求め、成功、適切な人への引き継ぎ、ツール障害、ターン超過の割合を別々に報告できる。修正前後の比較では、場面、ツール応答、エージェントとシミュレーターの設定、採点規則を固定し、争点のある事例は人が再確認する。しきい値は業務リスクで決める。これは推奨する確認方法であり、両製品が達成済みの結果ではない。
現在の課題が「ターンをまたぐ変化を試す手ごわいユーザーが足りない」なら Maxim を先に試し、「大量の不適切な会話があるが、どこで誤ったか説明できない」なら Galileo を先に試したい。業務成功の状態、隔離したテスト API、会話の関連付けすら未整備なら、購入より先にそれらを整えるべきだ。本当に役立つ成果物は、誤ったターンを示し、ツール条件を再現し、修正の有効性を証明できる事例であって、単なる高い平均点ではない。
内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。
元の出典:docs.galileo.ai