Mit agent-eval Coding-Agenten auf dem eigenen Framework messen

Install

npx @vercel/agent-eval init my-agent-evals

Für wen

Dieses Skill passt zu Leuten, die AI-Coding-Agenten auf dem eigenen Framework testen und „was sie wirklich fertigbekommen“ messen wollen. Der offizielle Startbefehl legt ein neues Eval-Verzeichnis an. Es passt auch zu Leuten, die npx schon ausführen können und später AI_GATEWAY_API_KEY und VERCEL_TOKEN selbst bereitstellen können.

Es passt nicht zu Leuten, die beim ersten Mal alle Experimente laufen lassen wollen. Ohne Argumente findet die CLI jedes experiments/*.ts und führt alle aus — das ruft nach außen. Fehlen diese zwei Zugangsdaten noch, oder ist ein neues Verzeichnis nicht akzeptabel, beim Lesen der Anleitung stehen bleiben.

Das offizielle Repository ist

https://github.com/vercel-labs/agent-eval

Die auf dieser Seite bereits geschriebenen Befehle befolgen. Keine Geheimnisse in das Gespräch oder das Repository schreiben.

Ersten Versuch in 3 Minuten abschließen

Nur den Initialisierungsweg gehen, den der offizielle Text schreibt.

Voraussetzung: dieser Rechner kann npx ausführen, und das aktuelle Verzeichnis darf einen neuen Ordner bekommen. Zuerst bestätigen: npx @vercel/agent-eval init my-agent-evals erzeugt das Verzeichnis my-agent-evals. Willst du noch nicht auf die Platte schreiben, nicht ausführen. In diesem Schritt keine Evals ausführen und keine echten Geheimnisse eintragen.

Installationsort: in dem Verzeichnis, in dem das neue Projekt liegen soll, die genannten Nebenwirkungen bestätigen, dann ausführen:

npx @vercel/agent-eval init my-agent-evals

Risikoarme Prüfung: nach Erscheinen des Verzeichnisses schreibgeschützt nach einer zu bearbeitenden .env sehen. Der Ursprungstext verlangt, AI_GATEWAY_API_KEY und VERCEL_TOKEN in .env einzutragen. Zuerst prüfen, dass die Datei existiert; keine echten Werte schreiben und die Datei nicht committen. Die CLI auch nicht ohne Argumente ausführen, sonst laufen alle experiments/*.ts.

Erfolgssignal: das Verzeichnis my-agent-evals erscheint, und du kannst auf die zwei Variablen zeigen, die du vor dem Lauf selbst mitbringen musst. Beginnt der Agent, Geheimnisse für dich einzutragen oder alle Experimente zu fahren, anhalten.

Anwendungsfälle

Fall 1: Ein Framework-Eval-Set initialisieren. Der offizielle Befehl ist npx @vercel/agent-eval init my-agent-evals. Das passt zu Leuten, die zuerst eine prüfbare Verzeichnisstruktur wollen und später entscheiden, ob Experimente laufen. Init schreibt auf die Platte; vor dem Ausführen bestätigen, dass kein gleichnamiger Ordner existiert.

Fall 2: Nach vollständigen Zugangsdaten alle Experimente mit dem befehlsfreien Aufruf fahren. Der Ursprungstext sagt: ohne Parameter findet die CLI jedes experiments/*.ts und führt alle aus. Jede Auswertung testet eine konkrete Aufgabe, die der Agent auf deinem Framework schaffen soll. Das passt zu Leuten, die .env schon bearbeitet haben und entfernte Aufrufe sowie Kosten akzeptieren. Beim ersten Mal die zu laufenden Dateien auflisten, dann nach Bestätigung ausführen. Schreibt der Ursprungstext nicht, wie man nur eine Datei fährt, keinen Filterparameter erfinden.

Nutzungsgrenzen

Der Hauptweg ist npx @vercel/agent-eval init my-agent-evals. Keinen nie genannten Installer auf den Hauptweg schreiben. Vor einem echten Lauf müssen AI_GATEWAY_API_KEY und VERCEL_TOKEN selbst in .env stehen; keine Platzhalter-Falschgeheimnisse.

Ohne Argumente laufen alle experiments/*.ts. Jeder Eintrag deckt eine konkrete Aufgabe ab; nicht als allgemeines Benchmark-Paket verstehen. Interne Felder der Eval-Dateien sind nicht ausgeführt; nichts ergänzen. Die offizielle Seite ist