Archal 選用指南:沙箱只建一次,業務資料就不會重複寫入嗎?

Archal 將外部 API 的有狀態環境帶進測試,但建立沙箱的冪等性不能取代業務寫入驗收。用一項虛構的建立儲存庫任務,判斷是否需要託管狀態、重設與清理,而不只看請求是否成功回應。

來源: www.npmjs.com
September 1, 2026
1 min

如果你的 Agent 會呼叫外部服務,一次「已完成」回應並不能證明狀態符合任務。Archal 提供有狀態的 API 測試環境,可載入初始資料、呼叫與服務相似的介面,再檢查或重設狀態。它值得考慮之處,是讓多步驟行為有可重複的起點與結果;若只驗證單一欄位轉換,既有單元測試通常更直接,不必額外託管環境。

官方發布的客戶端說明提供 GitHub 環境範例:建立 session、寫入一個儲存庫,最後銷毀 session;也提供讀取、載入與重設狀態的入口。說明特別強調,建立請求帶有冪等鍵,短暫的控制層重試不會重複建立 session。這項承諾針對的是沙箱建立,不是沙箱內每一次業務呼叫,更不是你的 Agent 不會重複執行任務的安全保證。

一個沙箱,也可能出現兩份業務結果

設一項純虛構驗收:從空的儲存庫清單開始,要求 Agent 只建立 demo-atlas。測試框架可在受控演練中模擬「寫入已生效,但回應沒有送到 Agent」,觀察下一步選擇。合格結果仍應只有目標儲存庫;若 Agent 猜測第一次失敗,又改名建立 demo-atlas-copy,即使只存在一個 session,也多出業務產物。本例只是驗收設計,不表示 Archal 內建這種故障注入,也不是已執行的結果。

因此先分別定義兩項檢查:session 建立是否收斂到同一個環境;業務狀態是否只有目標紀錄、名稱與屬性是否符合要求。不能用第一項通過取代第二項,也不能只統計成功回應。模擬遺漏回應是自己的測試框架安排,實際採用前還須確認環境支援哪些介面、狀態讀取及所需的錯誤行為;服務名稱列在目錄裡,不代表完整複製了上游所有行為。

Article img
原創測試示意:兩次沙箱建立嘗試收斂到一個虛構 session S1;若該 session 內出現 demo-atlas 與 demo-atlas-copy 兩個儲存庫,仍不符合只建立目標儲存庫的任務。

未執行的虛構驗收圖。A 的兩次建立請求只得到 S1,表示環境層去重;B 的 S1 中出現兩個名稱不同的儲存庫,仍不符合任務結果。只建立一次環境,不等於業務重試正確,也不能證明報告檔案已儲存。

對照可從簡單的 mock 開始:如果現有測試已保留狀態,並能檢查重試後的紀錄,它可能已經足夠。若現在的 mock 每次只回傳固定的「成功」,無法反映前一步寫入,才有理由評估 Archal 的有狀態環境。比較兩者時採用相同初始資料、相同任務與相同最終狀態標準,不要讓一個方案帶著上次殘留執行,另一個卻從空白開始。

重設、銷毀與結果留存是三件事

每輪測試結束後,先儲存所需且不含敏感內容的核驗結果,再確認重設確實恢復宣告的初始狀態,才執行下一輪。重設適合重複使用環境,不等於停止環境;不再測試時應完成銷毀,並確認結束狀態。官方客戶端說明會等待環境就緒,就緒失敗時嘗試清理;「嘗試」不能取代你對未完成清理的處理。沙箱建立的冪等性,也不承諾自動持久保存測試報告檔案。

官方說明區分工作區生命週期憑證與 session、環境範圍內的連線憑證,並要求不要提供真實服務憑證。選型示範只使用虛構物件及空白或自製狀態,在示範計畫中記錄每個獲准的測試端點;不能因為工具名稱帶有 sandbox,就預設程式其他分支不會碰到正式環境。本文沒有建立環境、執行程式、連接真實服務或輸入任何金鑰。

採購時應一併問清楚支援的 API 範圍、狀態核驗成本、重複執行,以及環境等待或遺留占用的成本,針對同一測試任務比較總投入。不要把一個簡單範例通過當成跨服務安全認證。若團隊經常需要從同一起點重跑多步驟呼叫,而且最終狀態、重設與清理都能驗證,Archal 才能減少維護測試帳號和複雜 mock 的負擔;若關鍵介面行為仍不符合需求,應保留原有測試方式,或先縮小到一條能驗證的流程。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:www.npmjs.com