Ragas と TruLens:検索が条項を取りこぼしたのか、回答が証拠を誤引用したのか
Ragas は参照回答を使って検索が必須の事実を取りこぼしていないか確認する用途、TruLens はリクエストの手順を追って証拠の消失や誤引用を特定する用途に向く。選定では再現率、忠実性、引用の帰属を区別し、モデルが実際に見たコンテキストを残す必要がある。
顧客対応のナレッジベースで検索件数を五つの断片から三つに減らすと、返金回答は短くなったが適用条件が抜けた。検索が条項を見つけなかったのか、モデルは条項を受け取ったのに誤って書いたり引用したりしたのか。最終回答の総合点だけを見ると、修正作業を間違った担当者へ渡しがちだ。
参照回答があり、検索設定を比較したいなら Ragas を優先評価したい。一回のリクエストをたどり、どの手順で証拠が消えたか、引用先が正しいかを確認したいなら TruLens を優先評価したい。この選択は 実測順位ではない。どちらも単純な RAG 評価を超えており、Ragas の文書には Agent とワークフローの評価が含まれ、TruLensは Agent の評価とトレーシングを掲げる。
足りないのは証拠か、それとも証拠の使い方か
Ragas の ContextRecallは、質問 user_input、検索断片 retrieved_contexts、参照回答 reference を入力とし、評価モデルが参照回答の事実を断片でカバーできるか判断する。点数はカバーされた事実の割合で、高いほどよい。「必要な条件がすべて見つかったか」を問うのに向くが、信頼できる参照回答を誰かが維持する必要がある。参照回答に例外が抜けていれば、再現率の点数もその穴を見つけられない。
ContextPrecisionは、有用な断片が前に並ぶかに注目し、現行の collections API でも質問、断片、参照回答を使って採点できる。参照回答がない場合、ContextUtilization は生成回答で断片の有用性を判断するため、既知の正解の網羅率として扱えない。関連性、順位、再現率は別の問題であり、三つとも関連があっても返金の例外だけを取りこぼす可能性がある。
TruLens の RAG triadは、質問と断片の関連性、回答と証拠の整合性、回答が問いに答えているかをそれぞれ確認する。三つとも参照回答を必要とせず、未注釈のリクエストをまず選別するのに向く。ただし関連性の高さは、検索されなかった条項が存在しないことを証明しない。正解断片を使って再現率と NDCG を計算する検索評価フローもあるため、両製品を「参照あり」と「参照なし」の絶対的な分担と説明してはいけない。
回答に根拠があっても引用先が正しいとは限らない
Ragas の Faithfulnessは、質問、回答、検索断片を入力とし、参照回答は必要ない。回答内の事実を分解し、断片で支持できる割合を 0–1 で計算し、高いほどよい。TruLens の groundedness も、回答の主張に提供コンテキスト内の根拠があるか確認する。どちらの種類の指標も、単独では回答の完全性やナレッジベース自体の正しさを証明できない。
より見えにくい誤りは、返金期限が第二の断片にあるのに、回答が第一の断片を示す場合だ。証拠全体はその文を支持するため、整合性スコアは高いままかもしれない。TruLens の引用テンプレートは二種類のチェックを明確に区別する。CitationAttribution は明示的な [N] マーカーと番号付き断片を照合し、誤引用は不合格にするが、マーカーのない主張は減点しない。CitationAccuracy はより広い引用形式に対応し、0–3 の段階で採点し、必要な引用の欠落も問題に含める。後者の生の段階値から 0–1 のスコアを直接差し引いてはいけない。
そのため、顧客対応担当者に出典リンクを表示するなら、「忠実性」の指標だけを調達してはいけない。Ragas を使うチームは引用先の確認を別に定義する必要があり、TruLens でも適切なテンプレートを選び、番号と原文断片の対応を残す必要がある。どちらも、どの文に引用が必須かという業務判断を代行しない。
再確認できる一件の記録で責任を分ける
以下は推奨する評価設計であり、実行済みの結果ではない。人が確認した返金質問を 30 件用意し、通常の返金、例外条件、ナレッジベースに答えがない場合を含める。各記録には質問 ID、原文バージョン、参照回答、必須の証拠断片を保存する。実行ごとに、順序付き検索一覧、モデルに実際に渡したコンテキスト、完全な回答、引用の対応関係、設定バージョンも別途保存する。
たとえば「年間プランを開始して 10 日で、すでにサービスを使ったが全額返金されるか」という質問を考える。自作のテスト条項は、[1] 開始後 14 日以内は返金申請可能、[2] サービス利用済みの場合は全額返金の対象外、とする。参照回答には両方とその関係が必要だ。これは合成した業務事例であり、どの企業の返金方針も表していない。
ナレッジベースのスナップショット、生成モデル、プロンプトを固定し、検索 top-k だけを 5 から 3 に変える。まず両群の実際のコンテキストを Ragas の ContextRecall に渡し、次に Faithfulness を確認する。TruLens では断片ごとに関連性を、コンテキスト全体と回答に groundedness を評価し、引用も別に確認する。Selector 文書は、断片ごとのチェックとコンテキスト全体の集約が異なる選択であると説明している。検索後に再ランキング、フィルタリング、切り詰めがあるなら、それらも記録し、モデルが見ていない候補断片をその証拠として扱ってはいけない。
この記録から少なくとも四つの対応を分けられる。第二条が候補一覧にないなら検索、候補にあるがモデルのコンテキストにないなら組み立て、モデルが両方を見ても全額返金を約束するなら生成、回答が正しくても引用番号が違うなら帰属を確認する。ナレッジベースの原文が失効している場合はコンテンツ担当者に渡し、評価モデルの変更で直そうとしない。
点数を比べる前に評価モデルと判断基準を固定する
両製品の LLM 指標は評価モデルの影響を受ける。Ragas の指標例は評価モデルを明示的に渡し、TruLens の provider 設定もモデルを選べる。比較時は利用可能な同じ評価モデルのバージョン、温度、入力テキストを固定し、それぞれのプロンプト、指標の実装、集約方法を記録する。同じモデルでも rubric が違えば 0.8 は同じ尺度ではない。
まず業務担当者に上記の事例を「証拠不足」「証拠との矛盾」「誤引用」「回答を控えるべき」に分類してもらい、自動評価がそれらを見つけるか確認する。境界事例では採点を繰り返して理由を残し、種類別に見逃しを集計する。高リスクの約束を一つの平均点で隠してはいけない。答えのない事例は適切に回答を控えたかを確認し、架空の参照回答を無理に当てて再現率を計算してはいけない。
現在の課題が新しい検索で必須事実を取りこぼしていないことの証明なら、Ragas の参照回答指標がより直接的だ。再ランキング、組み立て、生成の間で責任を押し付け合うことが課題なら、TruLens の手順選択と引用チェックが診断に合う。実際のコンテキストと証拠の注釈をそろえてからツールを選ぼう。そうでなければ、どちらも良い点数を出しても、どの手順を直すべきかに答えられない。
内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。
元の出典:docs.ragas.io