AI21 Maestro 选用指南:证据不足时,它能不能拒答?

用十二道虚构题比较动态验证与固定检索,把冲突、证据缺失、等待和人工复核分开衡量。

来源: www.ai21.com
2026年8月21日
3 min

如果企业知识库的难题不是「找不到文件」,而是「找到了几份互相矛盾的文件」,AI21 Maestro 的动态规划和按要求验证才值得试。AI21 的产品说明称,Maestro 会根据任务调整检索和验证步骤,允许设置输出规则和计算预算,并提供执行图与验证报告。报告能帮审阅者找到出错的环节,不能代替审阅者判断证据有没有支持结论。若大部分请求只需从一份现行手册找一条明确答案,带引用的固定检索流程更省事,也更容易维护。

把该说「不知道」的请求留进样本

用虚构的仓库领用规则做两条路线的盲测。第一条只做固定检索再生成并附引用;第二条把同一批文件交给 Maestro,要求每条关键结论对应具体文档版本与段落,证据缺失或冲突无法解决时明确拒答。准备十二道题,四道只查一份现行文件,四道同时命中旧版和现行版,剩余四道故意没有结论所需的记录。比如「备用标签能领几卷」在旧版写 4、现行版写 2;若问题指向特殊训练日,但文件没规定,就不该拿普通日的 2 卷补答案。两条路线使用同一文件范围与计时口径,不接生产知识库,也不赋予执行或写入权限。

Article img
三张假想规则卡:旧版普通日上限 4 卷,现行版 2 卷,特殊训练日缺记录。

图 1. 普通日引用现行规则;特殊日应说明缺哪份记录,不借用普通日的 2 卷。自绘示意,非工具实测。

看可用答案,不看验证报告拿了几分

让审阅者按事先写好的参考答案逐题核对。答对且引用具体段落才算通过;没有证据时,正确说明缺哪一份记录也算通过。三组分别记录结果,避免简单题掩盖冲突判断;错用旧版或无证据硬答单独记失败。再记录每次响应等待、计算用量和人工复核时间。厂商发布过预算与准确度的实验,不代表自家知识库也能在同样预算下达标。即使提高计算预算让验证报告更好看,也要看错误是否减少,以及减少的复核工时能否抵掉额外等待与费用。

采用门槛可以很具体:冲突组和无证据组都不能出现自信的错误;简单题不能因为多做规划而超过团队的等待上限。若主要问题是缺文件,就先补知识库;若固定流程也能按版本取证、拒答和留痕,就不为动态规划多添一层。只有难题确实改善、审阅者能从引用和执行记录里复查原因,才值得进一步谈集成与报价。

内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。

原文出处:www.ai21.com