Ragas 與 TruLens:檢索漏了條款,還是回答引錯證據?

Ragas 更適合用參考答案檢查檢索是否漏掉必要事實;TruLens 更適合沿請求步驟定位證據遺失與錯引。選型要分清召回率、忠實度與引用歸因,並保留模型實際看見的上下文。

來源: docs.ragas.io
November 15, 2026
1 min

客服知識庫將檢索從五段改成三段後,退款回答變短了,卻漏掉適用條件。究竟是檢索沒找到條款,還是模型拿到條款卻寫錯、引錯?只看最終回答總分,往往會把修復工作交給錯的人。

已有參考答案、要比較檢索設定時,優先評估 Ragas;需要沿一次請求追查證據在哪一步消失,或核對引用指向時,優先評估 TruLens。這並非親測排名。兩者都已超出單純 RAG 評估:Ragas 文件包含 Agent 與工作流程評估,TruLens定位於 Agent 評估與追蹤。

先判斷缺的是證據,還是證據的用法

Ragas 的 ContextRecall以問題 user_input、檢索片段 retrieved_contexts 和參考答案 reference 為輸入,由評審模型判斷參考答案中的事實是否被片段涵蓋。分數是已涵蓋事實的占比,越高越好。它適合詢問「必要條件找齊了嗎」,代價是必須有人維護可信的參考答案;參考答案若漏掉例外,召回分數也看不見這個缺口。

ContextPrecision則關注有用片段是否排在前面,目前的 collections API 同樣可用問題、片段與參考答案評分。沒有參考答案時,ContextUtilization 改用產生的回答判斷片段用途,不能把它當成已知正確答案的涵蓋率。相關性、排序與召回是不同問題,三段都相關,也可能恰好漏掉退款例外。

TruLens 的 RAG triad分別檢查問題與片段的相關性、回答與證據的一致性,以及回答是否切題。三項不依賴參考答案,適合先篩查沒有標註的請求;但相關性高不能證明未檢索到的條款不存在。它也有使用標準片段計算召回率與 NDCG 的檢索評估流程,不能把兩家概括成「有參考」與「無參考」的絕對分工。

回答有依據,不等於引用標對

Ragas 的 Faithfulness輸入問題、回答與檢索片段,不要求參考答案;它拆解回答中的事實,計算可由片段支持的比例,範圍為 0–1,越高越好。TruLens 的 groundedness 也檢查回答中的主張能否在提供的上下文中找到依據。這兩類指標都無法單獨證明答案完整,或知識庫本身正確。

更隱蔽的錯誤是:退款期限確實出現在第二段,回答卻標註第一段。整組證據支持該句話,一致性評分仍可能很好。TruLens 的引用範本明確區分兩種檢查:CitationAttribution 核對明確的 [N] 標記與編號片段,錯引即失敗,但不處罰沒有標記的主張;CitationAccuracy 支援更廣泛的引用格式,以 0–3 等級評分,並將應引用卻未引用列為問題。不要把後者的原始等級與 0–1 分數直接相減。

因此,向客服展示來源連結時,不能只採購「忠實度」指標。採用 Ragas 的團隊需要另外定義引用位置檢查;採用 TruLens 也要選對範本,並保存編號與原文片段的對應。兩者都無法替業務決定哪些句子必須附引用。

用一筆可複查記錄拆開責任

以下是建議的評測設計,不是已執行的結果。準備 30 個經人工確認的退款問題,分別涵蓋一般退款、例外條件與知識庫沒有答案的情況。每筆記錄保存問題 ID、原文版本、參考答案與必要證據片段;每次執行另外保存有序的檢索清單、實際送入模型的上下文、完整回答、引用對應與設定版本。

例如,問題是「年度方案啟用 10 天,已使用服務,還能全額退款嗎?」自行建立的測試條款設為:[1] 啟用後 14 天內可申請退款;[2] 已使用服務不適用全額退款。參考答案必須包含兩條及其關係。這是合成的業務範例,不代表任何公司的退款政策。

固定知識庫快照、生成模型與提示詞,只把檢索 top-k 從 5 改成 3。先將兩組實際上下文交給 Ragas 的 ContextRecall,再檢查 Faithfulness;TruLens 則對每段評估相關性,對整組上下文與回答評估 groundedness,另外核對引用。它的 Selector 文件說明,逐段檢查與彙總上下文是不同選擇。若檢索後還有重新排序、篩選或截斷,必須記錄這些步驟,不能把模型沒見過的候選片段當成它的證據。

這筆記錄至少可區分四種處理方式:第二條沒進入候選清單,檢查檢索;進入候選卻沒進入模型上下文,檢查組裝;模型看見兩條仍承諾全額退款,檢查生成;答案正確卻引用錯編號,檢查歸因。知識庫原文已失效則交給內容負責人,不能靠換評審修復。

比分數前,固定評審與判斷標準

雙方的 LLM 指標都受評審影響。Ragas 的指標範例明確傳入評審模型,TruLens 的 provider 設定也允許選擇模型。比較時固定同一個可用的評審版本、溫度與輸入文字,記錄各自的提示詞、指標實作與彙整方法;即使模型相同,不同 rubric 的 0.8 也不是同一把尺。

先請業務人員為上述範例標註「缺證據、違背證據、錯引、應拒答」類別,再檢查自動評估是否找出這些錯誤。對邊界範例重複評分並保留理由,逐類統計漏報,不要用一個平均分掩蓋高風險承諾。沒有答案的範例應檢查是否正確拒答,不能硬套一個虛構參考答案來計算召回率。

如果目前瓶頸是證明新檢索沒有漏掉必要事實,Ragas 的參考答案指標更直接;如果瓶頸是重新排序、組裝與生成之間互相推責,TruLens 的步驟選擇與引用檢查更貼合診斷。先補齊實際上下文與證據標註,再選工具。否則兩邊都可能給出漂亮分數,卻回答不了該修哪一步。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:docs.ragas.io