Medir agentes de código no próprio framework com agent-eval

Install

npx @vercel/agent-eval init my-agent-evals

Para quem

Este skill serve para quem quer testar agentes de código de IA no próprio framework e medir «o que eles realmente conseguem fazer». O comando oficial de partida cria um diretório de avaliação novo. Também serve para quem já consegue executar npx e depois pode fornecer AI_GATEWAY_API_KEY e VERCEL_TOKEN por conta própria.

Não serve para quem quer rodar todos os experimentos na primeira tentativa. Sem argumentos, o CLI acha cada experiments/*.ts e executa todos, o que chama para fora. Se ainda não tem essas duas credenciais, ou não aceita um diretório novo, pare na leitura do guia.

O repositório oficial é

https://github.com/vercel-labs/agent-eval

Siga os comandos já escritos nessa página. Não coloque segredos na conversa nem no repositório.

Primeira tentativa em 3 minutos

Siga só o caminho de inicialização que o texto oficial escreve.

Pré-requisito: esta máquina consegue executar npx e o diretório atual pode receber uma pasta nova. Confirme primeiro: npx @vercel/agent-eval init my-agent-evals vai criar o diretório my-agent-evals. Se ainda não quiser gravar em disco, não execute. Esta etapa não deve rodar avaliações nem preencher segredos reais.

Local de instalação: no diretório onde você quer o projeto novo, confirme esses efeitos colaterais e então execute:

npx @vercel/agent-eval init my-agent-evals

Checagem de baixo risco: quando o diretório aparecer, olhe em somente leitura se há um .env para editar. O texto exige colocar AI_GATEWAY_API_KEY e VERCEL_TOKEN em .env. Confirme primeiro que o arquivo existe; não grave valores reais nem faça commit desse arquivo. Também não execute o CLI sem argumentos, senão todos os experiments/*.ts rodam.

Sinal de sucesso: o diretório my-agent-evals aparece e você consegue apontar as duas variáveis que precisa trazer sozinho antes de rodar. Se o agente começar a preencher segredos por você ou rodar todos os experimentos, pare.

Casos de uso

Caso 1: inicializar um conjunto de avaliação de framework. O comando oficial é npx @vercel/agent-eval init my-agent-evals. Serve para quem quer primeiro uma estrutura de diretórios inspecionável e depois decidir se roda experimentos. O init grava em disco; confirme que não há pasta com o mesmo nome antes de executar.

Caso 2: com as credenciais prontas, rodar todos os experimentos com o comando sem argumentos. O texto afirma: sem parâmetros, o CLI acha cada experiments/*.ts e executa todos. Cada avaliação testa uma tarefa concreta que o agente deveria completar no seu framework. Serve para quem já editou .env e aceita chamadas remotas e custo. Na primeira vez, liste os arquivos que vão rodar e execute depois da confirmação. Se o texto não escrever como rodar só um arquivo, não invente argumento de filtro.

Limites de uso

O caminho principal é npx @vercel/agent-eval init my-agent-evals. Não coloque um instalador que não aparece no caminho principal. Antes de uma execução real você mesmo precisa colocar AI_GATEWAY_API_KEY e VERCEL_TOKEN em .env; não use segredos falsos de placeholder.

Sem argumentos todos os experiments/*.ts rodam. Cada item cobre uma tarefa concreta; não trate isso como um kit de benchmark geral. Os campos internos dos arquivos de avaliação não são desenvolvidos; não os invente. A página oficial é