安裝
npx @vercel/agent-eval init my-agent-evals適合誰
這份技能適合想在自己的框架上測試 AI 程式代理、並測量「真正能做成的事」的人。官方起步命令會新建一個評測目錄。它也適合已經能執行 npx、並且稍後能自己準備 AI_GATEWAY_API_KEY 與 VERCEL_TOKEN 的人。
它不適合第一次就把全部實驗跑起來的人。無參數時,命令列會發現每一個 experiments/*.ts 並全部執行,這會對外呼叫。若你還沒有這兩項憑據,或不能接受新建目錄,先停在閱讀說明。
官方倉庫見
https://github.com/vercel-labs/agent-eval
請按該頁已寫出的命令操作。不要把金鑰寫進對話或倉庫。
3 分鐘完成第一次嘗試
只走官方寫出的初始化路徑。
前置條件:本機可以執行 npx,目前目錄允許新建資料夾。先確認:npx @vercel/agent-eval init my-agent-evals 會建立 my-agent-evals 目錄。若還不想寫磁碟,不要執行。這一步不要執行評測,也不要填入真實金鑰。
安裝位置:在你準備放新專案的目錄確認上述副作用後執行:
npx @vercel/agent-eval init my-agent-evals
低風險核對:目錄出現後,唯讀查看其中是否有需要編輯的 .env。原文要求在 .env 裡填入 AI_GATEWAY_API_KEY 和 VERCEL_TOKEN。先確認檔案存在,不要寫入真實值,不要提交該檔案。也不要無參數執行 CLI,以免跑完全部 experiments/*.ts。
成功訊號:出現 my-agent-evals 目錄,並且你能指出執行前必須自備上述兩個變數。若代理開始替你填寫金鑰或直接跑完全部實驗,停住。
使用案例
案例一:初始化一套框架評測。官方命令是 npx @vercel/agent-eval init my-agent-evals。適合想先有一份可檢查的目錄結構、再決定是否跑實驗的人。初始化會寫磁碟,執行前先確認沒有同名資料夾。
案例二:在憑據齊備後,用無參數命令跑完全部實驗。原文寫明:不帶參數時,命令列會發現每一個 experiments/*.ts 並全部執行。每一條評測測試代理在你的框架上應能完成的一項具體任務。適合已經編輯過 .env、並同意產生遠端呼叫和費用的人。第一次請先列出將要執行的檔案,確認後再執行;原文沒有寫出如何只跑其中一個檔案時,不要編造過濾參數。
使用界線
主路徑是 npx @vercel/agent-eval init my-agent-evals。不要把未出現的安裝程式寫進主路徑。真正執行前必須在 .env 中自行提供 AI_GATEWAY_API_KEY 和 VERCEL_TOKEN,不要用佔位假金鑰。
無參數會跑完所有 experiments/*.ts。每一條只涵蓋一項具體任務,不要把它理解成通用基準套件。評測檔案的內部欄位原文沒有展開,不要補。官方頁面是
https://github.com/vercel-labs/agent-eval
若代理建議的初始化命令與該頁不一致,以該頁為準。