Galileo 与 Maxim AI:多轮客服测试怎样定位该修哪一步
缺少跨轮边界案例时,优先验证 Maxim 的用户模拟;已有失败会话需要拆解工具选择与执行问题时,优先评估 Galileo。选型应分清对话结束、业务成功和模型评分,并按完整会话路径核算成本。
客服代理先确认订单,随后用户改口要换货,工具却返回退款接口超时。最后一句回答即使礼貌,也可能掩盖状态丢失、重复提交或错误承诺。选评估平台时,关键是能否还原这条多轮路径,并把故障变成下一次可验证的修复任务。
Galileo 更适合已有真实会话、需要沿工具调用定位问题并配置线上评分的团队;Maxim AI 更适合缺少边界案例、希望让模拟用户连续追问的团队。两者都能评估代理,差别在先补哪一段工作。场景和验收数字均为假设,未进行产品实测。
先决定要观察会话,还是生成新的对话路径
Galileo 的会话结构用 session 汇集相关 traces,再下钻工具调用的 spans 和输入输出。若客服团队已积累失败会话,这能帮助工程师判断:用户改口发生在哪轮,之后调用是否还沿用旧订单或旧意图。接入时必须把同一会话的记录正确关联;只有最后一条回答,无法解释中途状态。
Maxim 的模拟功能可配置场景、用户画像和最大轮数,让 AI 生成后续用户输入;其批量模拟通过数据集记录场景与预期步骤,并针对代理 HTTP endpoint 运行。适合主动测试“先拒绝提供订单号,后来补充”“从退款改为换货”等路径。模拟用户不是实际客户,模拟通过率也不是线上成功率。
这不是 Galileo 没有实验或合成数据。其数据集文档支持实验输入、预期输出和合成样例。只是生成测试行与一个用户连续追问并不等价;本次核实的 Maxim 文档把后者的行为及停止条件讲得更具体。已有自建模拟器的团队,不必为了再添一个入口而迁移评估系统。
工具选对、执行成功和会话结束,分开验收
Maxim 的工具测试区分可执行 API/代码与仅供选择测试的 schema,也允许在 Playground 手动修改工具返回。可据此准备成功、超时和业务拒绝三种响应,但不能推断平台会自动替换真实后台。批量测试仍应由团队在沙箱接口或测试适配层固定返回值,阻止模拟退款产生真实付款。
结束也需要单独定义。自定义模拟允许指定模拟模型、行为和结束条件,并自动添加 end_simulation 工具。它结束的是模拟对话,不是对业务成功的认证。应分别保存“已正确转人工”“用户放弃”“达到轮数上限”和“业务完成”,不要把停止聊天全部计为解决问题。
Galileo 的Tool Selection Quality判断工具及参数是否合适;Tool Error判断执行是否发生错误。前者返回 true 表示选择正确,后者 true 表示检测到错误,汇总前要统一方向。两者使用模型评判,不是退款账本或接口状态码的替代品。
例如,订单查询正确但接口超时,优先修恢复和转人工流程;接口成功却继续提交旧退款请求,检查意图更新和状态管理;未成功却告诉用户“已完成”,检查回答是否受到工具结果约束。工程师需要每轮意图、参数、返回值与状态变化,业务负责人需要确认允许的结果。总分下降只能触发调查,不能独自决定改提示词还是修接口。
用线上失败补模拟,而不是让模拟替代线上
Maxim 的线上评估分 session、trace 和 span:整段会话用于跨轮判断,单次响应用于局部质量,span 级配置通过 SDK 完成。Galileo 的日志流指标可启用现成或自定义评估,并按指标配置抽样。双方都需要先接入足够上下文,再决定评分范围。
Maxim 可从日志和人工修正结果整理数据集,Galileo 则有独立的 generated_output、ground_truth 与 metric_ground_truth 字段,区分应用输出、预期回答和预期评分。回灌失败样例时,保存原会话用于诊断,再提炼触发条件和预期路径用于重跑;不要把原错误输出当成正确答案,也不要假设导入日志就重建了后台状态。
人工复核应集中在模型评分与工具事实冲突、提前终止、用户改口以及高风险承诺。确认一次失败确实来自代理后,再增加对应模拟变体。若评分器把正确的转人工判成失败,应先修评分规则,不能迫使代理为了高分继续执行。线上低分样本也会受到抽样和流量构成影响,应同时查看正常会话,避免只学会修投诉最多的路径。
预算按会话路径算,运行时控制另算
一次假设性试选可以准备 20 个场景,每个场景 3 种工具返回,重复 2 次,共 120 个模拟会话,上限各 8 轮。最多 960 轮并不等于 960 次模型调用:还包括模拟用户生成、代理内部规划、多个评分器及重试。分别记录这些调用的 token、费用、工具次数、会话时长和人工复核时间,再加平台订阅、日志存储等适用费用,不凭网关速度判断评估总成本。
尤其要核对抽样作用在哪一级。Maxim 文档明确:抽样和限速只作用于 trace 级评估,session 级仍评估每个会话。Galileo 的 Tool Selection Quality 会多次请求裁判模型,也会增加费用。因此,设置 10% 抽样不能直接把整个多轮测试账单估成十分之一。
产品边界同样重要。本文讨论的是 Maxim 的评估与模拟产品,Bifrost则是模型访问与治理网关,不能把网关的开源或免费条件套到评估服务。Galileo 当前Agent Control另提供工作流执行期间的输入输出控制;采集日志并打分不等于已经配置了拦截。需要运行时阻断时,应单独验证控制接入、触发条件、误拦截和失败后的业务处理。
验收上述 120 个会话时,可要求所有越权退款与虚假完成承诺进入阻断清单,同时分别报告成功、合规转人工、工具故障和超轮数比例。比较修复前后时固定场景、工具返回、代理与模拟器配置、评分规则,并由人工复核争议案例。阈值由业务风险决定,这些是建议的验收方法,不是两款产品已达到的结果。
如果当前难题是“没有足够难缠的用户来测试跨轮变化”,先试 Maxim;如果是“已有大量坏会话却说不清哪一步错了”,先试 Galileo。若连业务成功状态、隔离测试接口和会话关联都没建立,先补这些基础,再采购。真正有用的交付是能够指出错误轮次、复现工具条件并证明修复有效的案例,而不只是一个更高的平均分。
内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。
原文出处:docs.galileo.ai