Mesurer des agents de code sur votre propre framework avec agent-eval

Install

npx @vercel/agent-eval init my-agent-evals

À qui ça s'adresse

Ce skill convient à qui veut tester des agents de code IA sur son propre framework et mesurer « ce qu'ils arrivent vraiment à faire ». La commande de départ officielle crée un nouveau répertoire d'évaluation. Il convient aussi à qui peut déjà exécuter npx et pourra plus tard fournir AI_GATEWAY_API_KEY et VERCEL_TOKEN soi-même.

Il ne convient pas à qui veut lancer toutes les expériences dès le premier essai. Sans arguments, le CLI trouve chaque experiments/*.ts et les exécute tous, ce qui appelle vers l'extérieur. S'il manque encore ces deux identifiants, ou si un nouveau répertoire n'est pas acceptable, arrêtez-vous à la lecture du guide.

Le dépôt officiel est

https://github.com/vercel-labs/agent-eval

Suivez les commandes déjà écrites sur cette page. N'écrivez pas de secrets dans la conversation ni dans le dépôt.

Premier essai en 3 minutes

Ne prenez que le chemin d'initialisation écrit officiellement.

Prérequis : cette machine peut exécuter npx, et le répertoire courant peut recevoir un nouveau dossier. Confirmez d'abord : npx @vercel/agent-eval init my-agent-evals créera le répertoire my-agent-evals. Si vous ne voulez pas encore écrire sur le disque, n'exécutez pas. Cette étape ne doit pas lancer d'évaluations ni remplir de vrais secrets.

Emplacement d'installation : dans le répertoire où vous voulez le nouveau projet, confirmez ces effets de bord, puis exécutez :

npx @vercel/agent-eval init my-agent-evals

Vérification à bas risque : une fois le répertoire apparu, cherchez en lecture seule un .env à éditer. Le texte exige de mettre AI_GATEWAY_API_KEY et VERCEL_TOKEN dans .env. Confirmez d'abord que le fichier existe ; n'écrivez pas de valeurs réelles et ne commitez pas ce fichier. N'exécutez pas non plus le CLI sans arguments, sinon tous les experiments/*.ts tourneront.

Signal de succès : le répertoire my-agent-evals apparaît, et vous pouvez indiquer les deux variables à apporter vous-même avant l'exécution. Si l'agent commence à remplir des secrets pour vous ou lance toutes les expériences, arrêtez-vous.

Cas d'usage

Cas 1 : initialiser un jeu d'évaluation de framework. La commande officielle est npx @vercel/agent-eval init my-agent-evals. Cela convient à qui veut d'abord une structure de répertoires inspectable, puis décider s'il lance les expériences. L'init écrit sur le disque ; confirmez qu'il n'y a pas de dossier du même nom avant d'exécuter.

Cas 2 : une fois les identifiants prêts, tout exécuter avec la commande sans arguments. Le texte indique : sans paramètres, le CLI trouve chaque experiments/*.ts et les exécute tous. Chaque évaluation teste une tâche concrète que l'agent devrait accomplir sur votre framework. Cela convient à qui a déjà édité .env et accepte des appels distants et des coûts. La première fois, listez les fichiers qui tourneront, puis exécutez après confirmation. Si le texte n'écrit pas comment n'en lancer qu'un, n'inventez pas d'argument de filtre.

Limites d'usage

Le chemin principal est npx @vercel/agent-eval init my-agent-evals. Ne mettez pas un installeur absent sur le chemin principal. Avant une vraie exécution, placez vous-même AI_GATEWAY_API_KEY et VERCEL_TOKEN dans .env ; n'utilisez pas de faux secrets de substitution.

Sans arguments, tous les experiments/*.ts tournent. Chaque entrée ne couvre qu'une tâche concrète ; ne le traitez pas comme une suite de benchmark générale. Les champs internes des fichiers d'évaluation ne sont pas développés ; n'en ajoutez pas. La page officielle est