agent-eval로 자기 프레임워크에서 코딩 에이전트 측정하기

Install

npx @vercel/agent-eval init my-agent-evals

누구에게 맞나

이 스킬은 자기 프레임워크에서 AI 코딩 에이전트를 시험하고 「실제로 해낼 수 있는 일」을 측정하고 싶은 사람에게 맞다. 공식 시작 명령은 새 평가 디렉터리를 만든다. 이미 npx를 실행할 수 있고 나중에 AI_GATEWAY_API_KEY와 VERCEL_TOKEN를 스스로 준비할 수 있는 사람에게도 맞다.

처음에 모든 실험을 돌리려는 사람에게는 맞지 않는다. 인자 없이 CLI는 모든 experiments/*.ts를 찾아 전부 실행하며 밖으로 호출한다. 아직 그 두 자격 증명이 없거나 새 디렉터리를 받아들일 수 없으면 설명 읽기에서 멈춘다.

공식 저장소는

https://github.com/vercel-labs/agent-eval

해당 페이지에 이미 적힌 명령을 따른다. 비밀키를 대화나 저장소에 쓰지 말 것.

3분 안에 첫 시도 끝내기

공식이 적은 초기화 경로만 탄다.

전제: 이 머신에서 npx를 실행할 수 있고 현재 디렉터리에 새 폴더를 만들어도 된다. 먼저 확인한다: npx @vercel/agent-eval init my-agent-evals는 my-agent-evals 디렉터리를 만든다. 아직 디스크에 쓰고 싶지 않으면 실행하지 말 것. 이 단계에서는 평가를 돌리지 말고 실제 비밀키도 넣지 말 것.

설치 위치: 새 프로젝트를 둘 디렉터리에서 위 부작용을 확인한 뒤 실행한다:

npx @vercel/agent-eval init my-agent-evals

저위험 확인: 디렉터리가 나타난 뒤 편집이 필요한 .env가 있는지 읽기 전용으로 본다. 원문은 .env에 AI_GATEWAY_API_KEY와 VERCEL_TOKEN를 넣으라고 요구한다. 먼저 파일이 있는지 확인하고 실제 값을 쓰지 말며 그 파일을 커밋하지 말 것. 인자 없이 CLI를 실행해 모든 experiments/*.ts를 돌리지도 말 것.

성공 신호: my-agent-evals 디렉터리가 나타나고 실행 전에 위 두 변수를 직접 준비해야 한다고 가리킬 수 있다. 에이전트가 대신 비밀키를 채우거나 모든 실험을 바로 돌리면 멈춘다.

사용 사례

사례 1: 프레임워크 평가 한 벌을 초기화한다. 공식 명령은 npx @vercel/agent-eval init my-agent-evals. 먼저 검사할 수 있는 디렉터리 구조를 갖고 실험을 돌릴지 나중에 정하려는 사람에게 맞다. 초기화는 디스크에 쓰므로 실행 전 같은 이름 폴더가 없는지 확인한다.

사례 2: 자격 증명이 갖춰진 뒤 인자 없는 명령으로 모든 실험을 돌린다. 원문은 이렇게 적는다: 인자가 없으면 CLI가 모든 experiments/*.ts를 찾아 전부 실행한다. 각 평가는 에이전트가 당신 프레임워크에서 완료해야 할 구체 작업 한 가지를 시험한다. 이미 .env를 편집했고 원격 호출과 비용에 동의한 사람에게 맞다. 처음에는 실행될 파일을 나열한 뒤 확인 후 실행한다. 원문이 파일 하나만 돌리는 방법을 쓰지 않으면 필터 인자를 지어내지 말 것.

사용 경계

주 경로는 npx @vercel/agent-eval init my-agent-evals. 나타나지 않은 설치기를 주 경로에 넣지 말 것. 실제로 돌리기 전에 .env에 AI_GATEWAY_API_KEY와 VERCEL_TOKEN를 직접 넣어야 하며 자리 표시 가짜 비밀키를 쓰지 말 것.

인자 없으면 모든 experiments/*.ts를 돌린다. 각 항목은 구체 작업 하나만 다루며 범용 벤치마크 세트로 이해하지 말 것. 평가 파일의 내부 필드는 원문에서 펼치지 않으므로 보태지 말 것. 공식 페이지는