安装
npx @vercel/agent-eval init my-agent-evals适合谁
这份技能适合想在自己的框架上测试 AI 编程代理、并测量「真正能做成的事」的人。官方起步命令会新建一个评测目录。它也适合已经能运行 npx、并且稍后能自己准备 AI_GATEWAY_API_KEY 与 VERCEL_TOKEN 的人。
它不适合第一次就把全部实验跑起来的人。无参数时,命令行会发现每一个 experiments/*.ts 并全部执行,这会对外调用。若你还没有这两项凭据,或不能接受新建目录,先停在阅读说明。
官方仓库见 https://github.com/vercel-labs/agent-eval 请按该页已写出的命令操作。不要把密钥写进对话或仓库。
3 分钟完成第一次尝试
只走官方写出的初始化路径。
前置条件:本机可以运行 npx,当前目录允许新建文件夹。先确认:npx @vercel/agent-eval init my-agent-evals 会创建 my-agent-evals 目录。若还不想写磁盘,不要执行。这一步不要运行评测,也不要填写真实密钥。
安装位置:在你准备放新项目的目录确认上述副作用后执行:
npx @vercel/agent-eval init my-agent-evals
低风险核对:目录出现后,只读查看其中是否有需要编辑的 .env。原文要求在 .env 里填入 AI_GATEWAY_API_KEY 和 VERCEL_TOKEN。先确认文件存在,不要写入真实值,不要提交该文件。也不要无参数执行 CLI,以免跑完全部 experiments/*.ts。
成功信号:出现 my-agent-evals 目录,并且你能指出运行前必须自备上述两个变量。若代理开始替你填写密钥或直接跑完全部实验,停住。
使用案例
案例一:初始化一套框架评测。官方命令是 npx @vercel/agent-eval init my-agent-evals。适合想先有一份可检查的目录结构、再决定是否跑实验的人。初始化会写磁盘,执行前先确认没有同名文件夹。
案例二:在凭据齐备后,用无参数命令跑完全部实验。原文写明:不带参数时,命令行会发现每一个 experiments/*.ts 并全部运行。每一条评测测试代理在你的框架上应能完成的一项具体任务。适合已经编辑过 .env、并同意产生远端调用和费用的人。第一次请先列出将要运行的文件,确认后再执行;原文没有写出如何只跑其中一个文件时,不要编造过滤参数。
使用边界
主路径是 npx @vercel/agent-eval init my-agent-evals。不要把未出现的安装器写进主路径。真正运行前必须在 .env 中自行提供 AI_GATEWAY_API_KEY 和 VERCEL_TOKEN,不要用占位假密钥。
无参数会跑完所有 experiments/*.ts。每一条只覆盖一项具体任务,不要把它理解成通用基准套件。评测文件的内部字段原文没有展开,不要补。官方页面是 https://github.com/vercel-labs/agent-eval 若代理建议的初始化命令与该页不一致,以该页为准。