Medir agentes de código en tu propio framework con agent-eval

Install

npx @vercel/agent-eval init my-agent-evals

Para quién

Este skill encaja en quien quiere probar agentes de código IA en su propio framework y medir «lo que de verdad consiguen hacer». El comando oficial de arranque crea un directorio de evaluación nuevo. También encaja en quien ya puede ejecutar npx y más tarde puede aportar AI_GATEWAY_API_KEY y VERCEL_TOKEN por su cuenta.

No encaja en quien quiere lanzar todos los experimentos a la primera. Sin argumentos, la CLI encuentra cada experiments/*.ts y los ejecuta todos, lo que llama hacia fuera. Si aún no tienes esas dos credenciales, o no aceptas un directorio nuevo, detente en leer la guía.

El repositorio oficial es

https://github.com/vercel-labs/agent-eval

Sigue los comandos ya escritos en esa página. No pongas secretos en la conversación ni en el repositorio.

Primera prueba en 3 minutos

Sigue solo el camino de inicialización que escribe el texto oficial.

Requisito: esta máquina puede ejecutar npx y el directorio actual puede recibir una carpeta nueva. Confirma primero: npx @vercel/agent-eval init my-agent-evals creará el directorio my-agent-evals. Si aún no quieres escribir en disco, no lo ejecutes. Este paso no debe ejecutar evaluaciones ni rellenar secretos reales.

Lugar de instalación: en el directorio donde quieres el proyecto nuevo, confirma esos efectos secundarios y luego ejecuta:

npx @vercel/agent-eval init my-agent-evals

Comprobación de bajo riesgo: cuando aparezca el directorio, mira en solo lectura si hay un .env que editar. El texto exige poner AI_GATEWAY_API_KEY y VERCEL_TOKEN en .env. Confirma primero que el archivo existe; no escribas valores reales ni hagas commit de ese archivo. Tampoco ejecutes la CLI sin argumentos, o correrá todos los experiments/*.ts.

Señal de éxito: aparece el directorio my-agent-evals y puedes señalar las dos variables que debes traer tú antes de ejecutar. Si el agente empieza a rellenar secretos por ti o lanza todos los experimentos, para.

Casos de uso

Caso 1: inicializar un conjunto de evaluación de framework. El comando oficial es npx @vercel/agent-eval init my-agent-evals. Encaja en quien quiere primero una estructura de directorios comprobable y luego decidir si corre experimentos. El init escribe en disco; confirma que no hay una carpeta del mismo nombre antes de ejecutar.

Caso 2: con las credenciales listas, correr todos los experimentos con el comando sin argumentos. El texto indica: sin parámetros, la CLI encuentra cada experiments/*.ts y los ejecuta todos. Cada evaluación prueba una tarea concreta que el agente debería completar en tu framework. Encaja en quien ya editó .env y acepta llamadas remotas y coste. La primera vez, lista los archivos que se ejecutarán y ejecuta tras confirmar. Si el texto no escribe cómo correr solo uno, no inventes un argumento de filtro.

Límites de uso

El camino principal es npx @vercel/agent-eval init my-agent-evals. No pongas un instalador que no aparece en el camino principal. Antes de una ejecución real debes poner tú AI_GATEWAY_API_KEY y VERCEL_TOKEN en .env; no uses secretos falsos de relleno.

Sin argumentos se corren todos los experiments/*.ts. Cada ítem cubre una tarea concreta; no lo trates como un kit de referencia general. Los campos internos de los archivos de evaluación no se desarrollan; no los inventes. La página oficial es