Archal 선택 가이드: 샌드박스가 하나면 업무 데이터 중복 쓰기도 막을까?
Archal은 외부 API의 상태 유지 환경을 테스트에 제공하지만, 샌드박스 생성 멱등성이 업무 쓰기 검수를 대신하지는 못한다. 가상 저장소 생성 과제로 성공 응답만 볼 것이 아니라 관리형 상태, 초기화와 정리가 필요한지 판단한다.
Agent가 외부 서비스를 호출한다면 ‘완료’라는 응답 한 번만으로 상태가 과제에 맞는다고 증명할 수 없다. Archal은 초기 데이터를 넣고 서비스 형태의 인터페이스를 호출한 다음 상태를 확인하거나 초기화할 수 있는 상태 유지 API 테스트 환경을 제공한다. 여러 단계의 동작에 반복 가능한 시작점과 결과를 마련한다는 점이 검토할 이유이다. 단일 필드 변환만 검증한다면 기존 단위 테스트가 보통 더 직접적이며 별도의 호스팅 환경도 필요 없다.
공식 배포된 클라이언트 설명에는 GitHub 환경 예시가 있다. session을 만들고 저장소를 쓴 다음 session을 폐기한다. 상태 읽기, 불러오기, 초기화 기능도 제공한다. 설명은 생성 요청에 멱등성 키가 있어 일시적인 제어 계층 재시도가 session을 중복 생성하지 않는다고 강조한다. 이 약속은 샌드박스 생성에 관한 것이지 그 안의 모든 업무 호출에 관한 것이 아니며, Agent가 과제를 중복 실행하지 않는다는 안전 보장도 아니다.
샌드박스 하나에도 업무 결과가 둘 생길 수 있다
순수한 가상 검수를 생각해 보자. 빈 저장소 목록에서 출발해 Agent에게 demo-atlas만 만들라고 요청한다. 테스트 프레임워크는 통제된 연습에서 ‘쓰기는 반영됐지만 응답이 Agent에 도착하지 않은’ 상황을 모의하고 다음 선택을 관찰할 수 있다. 통과 결과는 여전히 목표 저장소 하나뿐이어야 한다. Agent가 첫 시도가 실패했다고 추측해 이름을 바꾸어 demo-atlas-copy를 만들면 session은 하나여도 불필요한 업무 산출물이 생긴다. 이는 검수 설계이며 Archal에 이런 결함 주입이 내장되어 있다는 뜻이나 실제 실행 결과가 아니다.
따라서 두 검사를 따로 정의한다. session 생성이 같은 환경으로 수렴하는지, 업무 상태에 목표 레코드만 있으며 이름과 속성이 요구에 맞는지이다. 첫 검사 통과로 두 번째를 대신할 수 없고 성공 응답 수만 세어도 안 된다. 응답 누락 모의는 자체 테스트 프레임워크의 역할이다. 실제 채택 전에는 지원 인터페이스, 상태 조회와 필요한 오류 동작을 확인해야 한다. 서비스 이름이 목록에 있다고 해서 원래 서비스의 모든 동작을 완전히 복제했다는 뜻은 아니다.

실행하지 않은 가상 검수 도식. A에서는 생성 요청 두 번으로 S1만 얻어 환경 계층의 중복 제거를 나타낸다. B의 S1에는 이름이 다른 저장소 두 개가 있어 과제 결과가 여전히 부적합하다. 환경을 한 번만 만든다고 업무 재시도가 올바르거나 보고서 파일이 저장됐다는 뜻은 아니다.
비교는 단순한 mock에서 시작할 수 있다. 기존 테스트가 이미 상태를 유지하고 재시도 후 레코드를 확인할 수 있다면 충분할 수 있다. 지금의 mock이 매번 고정된 ‘성공’만 반환해 이전 쓰기를 반영하지 못할 때 Archal의 상태 유지 환경을 평가할 이유가 생긴다. 동일한 초기 데이터, 동일한 과제와 최종 상태 판정 기준으로 비교한다. 한쪽은 지난 실행의 잔여 데이터를 안고, 다른 쪽은 빈 상태에서 시작하게 해서는 안 된다.
초기화, 폐기, 결과 보존은 별개이다
한 차례 테스트가 끝나면 필요한 검증 결과를 민감한 내용 없이 먼저 저장한다. 이후 초기화가 명시한 시작 상태를 실제로 복구했는지 확인한 뒤 다음 차례를 실행한다. 초기화는 환경 재사용을 위한 것이지 환경 중단이 아니다. 더 이상 테스트하지 않을 때는 폐기를 완료하고 종료 상태를 확인한다. 공식 클라이언트 설명에 따르면 준비 완료를 기다리고 준비 실패 시 정리를 시도한다. ‘시도’가 미완료 정리에 대한 대응을 대신하지는 않는다. 샌드박스 생성의 멱등성도 테스트 보고서 파일의 자동 영구 저장을 약속하지 않는다.
공식 설명은 작업 공간 수명 주기용 자격 증명과 session 및 환경 범위로 제한된 연결 자격 증명을 구분하며 실제 서비스 자격 증명을 제공하지 말라고 한다. 도구 선정 시연에는 가상 객체와 빈 상태 또는 직접 만든 상태만 쓰고, 시연 계획에 허가된 테스트 엔드포인트 각각을 기록한다. 도구 이름에 sandbox가 있다고 해서 코드의 다른 분기가 운영 환경에 닿지 않는다고 가정해서는 안 된다. 이 글에서는 환경을 만들거나 코드를 실행하거나 실제 서비스에 연결하거나 키를 입력하지 않았다.
구매 시에는 지원 API 범위, 상태 검증 비용, 반복 실행, 환경 대기 및 남겨진 자원의 비용을 함께 확인해 같은 테스트 과제의 총투입을 비교한다. 작은 가상 과제 통과를 서비스 간 안전 인증으로 취급하지 않는다. 팀이 같은 시작점에서 여러 단계 호출을 자주 반복해야 하고 최종 상태, 초기화, 정리를 검증할 수 있을 때 Archal은 테스트 계정과 복잡한 mock을 유지하는 부담을 줄일 수 있다. 핵심 인터페이스 동작이 맞지 않으면 기존 테스트 방식을 유지하거나 검증 가능한 한 흐름으로 먼저 범위를 좁힌다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:www.npmjs.com