Ragas 与 TruLens:检索漏了条款,还是回答引错了证据?

Ragas 更适合用参考答案核查检索是否漏掉必需事实;TruLens 更适合沿请求步骤定位证据丢失与错引。选型要分清召回、忠实度和引用归因,并保留模型实际看见的上下文。

来源: docs.ragas.io
2026年11月15日
6 min

客服知识库把检索从五段改成三段后,退款回答更短了,却把适用条件漏掉。究竟是检索没找到条款,还是模型拿到了条款却写错、引错?只看最终回答总分,往往会把修复工作交给错误的人。

已有参考答案、要比较检索配置时,优先评估 Ragas;需要沿一次请求追查证据在哪一步消失,或核对引用指向时,优先评估 TruLens。这个选择不是亲测排名。两者都已超出单纯 RAG 评估:Ragas 文档包含 Agent 与工作流评估,TruLens定位于 Agent 评估与追踪。

先判断缺的是证据,还是证据的用法

Ragas 的 ContextRecall以问题 user_input、检索片段 retrieved_contexts 和参考答案 reference 为输入,用裁判模型判断参考答案中的事实是否被片段覆盖。分数是覆盖的事实占比,越高越好。它适合问“必需的条件找全了吗”,代价是有人必须维护可信参考答案;参考答案漏了例外,召回分数也看不见这个缺口。

ContextPrecision则关注有用片段是否排在前面,当前 collections API 同样可用问题、片段与参考答案评分。无参考答案时,ContextUtilization 改用生成回答判断片段用途,不能把它当成已知正确答案的覆盖率。相关性、排序和召回是不同问题,三段都相关也可能恰好漏掉退款例外。

TruLens 的 RAG triad分别检查问题与片段的相关性、回答与证据的一致性,以及回答是否切题。三项不依赖参考答案,适合先筛查没有标注的请求;但相关性高不能证明未检索到的条款不存在。它也有使用标准片段计算召回与 NDCG 的检索评估流程,不能把两家概括成“有参考”与“无参考”的绝对分工。

回答有依据,不等于引用标对

Ragas 的 Faithfulness输入问题、回答和检索片段,不要求参考答案;它拆解回答中的事实,计算可由片段支持的比例,范围为 0–1,越高越好。TruLens 的 groundedness 也检查回答中的主张能否在提供的上下文中找到依据。这两类指标都不能单独证明答案完整,或知识库本身正确。

更隐蔽的错误是:退款期限确实出现在第二段,回答却标注第一段。整组证据支持该句话,一致性评分仍可能很好。TruLens 的引用模板明确区分两种检查:CitationAttribution 核对显式 [N] 标记与编号片段,错引即失败,但不惩罚没有标记的主张;CitationAccuracy 支持更广的引用格式,以 0–3 等级评分,并把应引未引计入问题。不要把后者原始等级与 0–1 分数直接相减。

因此,面向客服展示来源链接时,不能只采购“忠实度”指标。采用 Ragas 的团队需要另外定义引用位置检查;采用 TruLens 也要选对模板,并保存编号到原文片段的映射。两者都不能替业务决定哪些句子必须带引用。

用一条可复核记录拆开责任

以下是建议的评测设计,不是已运行的结果。准备 30 条人工确认的退款问题,分别覆盖常规退款、例外条件和知识库无答案的情况。每条记录保存问题 ID、原文版本、参考答案及必需证据片段;每次运行另存有序检索列表、实际送入模型的上下文、完整回答、引用映射与配置版本。

例如,问题是“年度方案开通 10 天、已使用服务,还能全额退款吗?”自建测试条款设为:[1] 开通后 14 天内可申请退款;[2] 已使用服务不适用全额退款。参考答案必须包含两条及其关系。这是合成业务样例,不代表任何公司的退款政策。

固定知识库快照、生成模型与提示词,只把检索 top-k 从 5 改成 3。先把两组实际上下文交给 Ragas 的 ContextRecall,再检查 Faithfulness;TruLens 则对每段评相关性,对整组上下文与回答评 groundedness,另核对引用。其 Selector 文档说明,逐段检查与汇总上下文是不同选择。若检索后还有重排、过滤或截断,必须记录这些步骤,不能把模型未见过的候选段当成它的证据。

这条记录至少可分出四种处理:第二条没进入候选列表,检查检索;进入候选却没进入模型上下文,检查组装;模型看见两条仍承诺全额退款,检查生成;答案正确却引用错编号,检查归因。知识库原文已失效则交给内容负责人,不靠换裁判修复。

比分数前,固定裁判和判断标准

双方的 LLM 指标都受裁判影响。Ragas 的指标示例显式传入裁判模型,TruLens 的 provider 配置也允许选择模型。比较时固定同一可用裁判版本、温度和输入文本,记录各自提示词、指标实现与聚合方法;即便模型相同,不同 rubric 的 0.8 也不是同一把尺子。

先请业务人员给上述样例标出“缺证据、违背证据、错引、应拒答”类别,再检查自动评估是否找出这些错误。对边界样例重复评分并保留理由,逐类统计漏报,不用一个平均分掩盖高风险承诺。没有答案的样例应检查正确拒答,不能硬套一个虚构参考答案来算召回。

如果当前瓶颈是证明新检索没有漏掉必需事实,Ragas 的参考答案指标更直接;如果瓶颈是重排、组装、生成之间互相推责,TruLens 的步骤选择与引用检查更贴合诊断。先补齐实际上下文和证据标注,再选择工具。否则两边都可能给出漂亮分数,却回答不了该修哪一步。

内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。

原文出处:docs.ragas.io