Archal 选用指南:沙箱只建了一次,业务就不会重复写吗?

Archal 把外部 API 的有状态环境带进测试,但创建沙箱的幂等性不能替代业务写入验收。用一条虚构建仓库任务,判断是否需要托管状态、重置与清理,而不是只看请求有没有成功返回。

来源: www.npmjs.com
2026年9月1日
4 min

如果你的 Agent 会调用外部服务,一次返回“已完成”并不能证明状态符合任务。Archal 提供有状态的 API 测试环境,可装入起始数据、调用服务形状的接口,再检查或重置状态。它值得考虑的地方,是让一段多步行为有可重复的起点和结果;若只验证一个字段转换,已有单元测试通常更直接,不必额外托管环境。

官方发布的客户端说明给出 GitHub 环境示例:创建 session,写入一个仓库,最后销毁 session;也提供读取、装入和重置状态的入口。说明特别强调,创建请求带幂等键,短暂的控制层重试不会重复创建 session。这个承诺的对象是沙箱创建,不是沙箱里每一次业务调用,更不是你的 Agent 不会重复执行任务的安全保证。

一个沙箱,也可能出现两份业务结果

设一项纯虚构验收:从空仓库列表开始,要求 Agent 建立唯一的 demo-atlas。测试框架可以在受控演练中模拟“写入已生效,但回应没有交到 Agent 手里”,观察下一步选择。合格的任务结果仍应只有那个目标仓库;若 Agent 猜测第一次失败,又改名建立 demo-atlas-copy,即使只存在一个 session,也出现了多余业务产物。本例只是验收设计,不表示 Archal 内置了这种故障注入,也不是已运行的结果。

因此先分别定义两项检查:session 创建是否收敛到同一个环境;业务状态是否只有目标记录、名称和属性是否符合要求。不能拿第一项通过替代第二项,也不能只统计成功响应。模拟遗漏回应属于你自己的测试框架安排,实际采用前还须确认环境支持哪些接口、状态读取及所需错误行为;服务名称列在目录里,不代表完整复制了上游所有行为。

Article img
原创测试示意:两次沙箱创建尝试收敛到一个虚构session S1;该session内部若出现demo-atlas与demo-atlas-copy两个仓库,仍不符合只建一个目标仓库的任务。

未运行的虚构验收图。A 的两次创建请求只得到 S1,说明的是环境层去重;B 的 S1 中出现两个不同名称的仓库,仍属于任务结果不符。一次建环境,不等于业务重试正确,也不证明报告文件已保存。

对照可以从简单 mock 开始:如果现有测试已经保留状态,并能检查重试后的记录,它可能足够。若现在的 mock 每次只返回固定“成功”,无法体现上一步写入,才有理由评估 Archal 的有状态环境。比较两者时使用相同初始数据、相同任务和同一最终状态判定,不让一个方案带着前次残留运行,另一个从空白开始。

重置、销毁和结果留存是三件事

一轮测试结束后,先保存自己需要的、无敏感内容的核验结果,再验证重置确实恢复了声明的起始状态,才运行下一轮。重置适合复用环境,并不等于停止环境;不再测试时应完成销毁并核实结束状态。官方客户端说明会等待就绪,并在就绪失败时尝试清理;“尝试”不能替代你对未完成清理的处理。沙箱创建的幂等性也不承诺测试报告文件自动持久保存。

官方说明区分工作区生命周期凭证与 session、环境范围内的连接凭证,并要求不要提供真实服务凭证。选型演示只用虚构对象和空白或自制状态,在演示计划中记录每个获准的测试端点;不能因为工具名称带 sandbox,就默认代码其他分支也不会碰到生产。本篇没有创建环境、运行代码、连接真实服务或输入任何密钥。

采购时把可支持的 API 范围、状态核验成本、重复运行和环境等待或遗留占用的成本一起问清楚,按同一条测试任务比较总投入。不要把一个玩具任务通过当作跨服务安全认证。若团队经常需要从同一起点复跑多步调用,且最终状态、重置与清理都能验证,Archal 才能减少维护测试账号和复杂 mock 的负担;若关键接口行为尚不匹配,保留已有测试方案,或先缩小到能验证的一条流程。

内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。

原文出处:www.npmjs.com