インストール
npx @vercel/agent-eval init my-agent-evals誰向けか
このスキルは、自分のフレームワーク上で AI コーディングエージェントを試し、「本当にできること」を測りたい人向けである。公式の開始コマンドは新しい評価ディレクトリを作る。すでに npx を実行でき、あとで AI_GATEWAY_API_KEY と VERCEL_TOKEN を自分で用意できる人にも向く。
最初から全部の実験を走らせたい人には向かない。引数なしでは CLI がすべての experiments/*.ts を見つけて全部実行し、外向き呼び出しになる。まだその 2 つの資格情報が無い、または新ディレクトリを受け入れられないなら、説明を読むところで止める。
公式リポジトリは
https://github.com/vercel-labs/agent-eval
そのページにすでに書かれたコマンドに従う。秘密鍵を会話やリポジトリに書かない。
3 分で最初の試行を終える
公式が書いた初期化経路だけを取る。
前提：このマシンで npx を実行でき、今のディレクトリに新しいフォルダを作ってよい。先に確認する：npx @vercel/agent-eval init my-agent-evals は my-agent-evals ディレクトリを作る。まだディスクに書きたくなければ実行しない。この段階では評価を走らせず、本物の秘密鍵も入れない。
インストール場所：新しいプロジェクトを置くディレクトリで上記の副作用を確認してから実行する：
npx @vercel/agent-eval init my-agent-evals
低リスクな確認：ディレクトリが現れたら、編集が必要な .env があるかを読み取り専用で見る。原文は .env に AI_GATEWAY_API_KEY と VERCEL_TOKEN を入れるよう求める。先にファイルがあることを確認し、本物の値を書かず、そのファイルをコミットしない。引数なしで CLI を実行してすべての experiments/*.ts を走らせない。
成功の合図：my-agent-evals ディレクトリが現れ、実行前に上記 2 変数を自分で用意しなければならないと指せること。エージェントが代わりに秘密鍵を入れ始めたり、全部の実験を直接走らせたりしたら止める。
利用例
例 1：フレームワーク評価一式を初期化する。公式コマンドは npx @vercel/agent-eval init my-agent-evals。先に検査できるディレクトリ構造を持ち、実験を走らせるか後で決めたい人向け。初期化はディスクに書くので、実行前に同名フォルダが無いことを確認する。
例 2：資格情報が揃ったあと、引数なしコマンドですべての実験を走らせる。原文は書く：引数を付けないとき、CLI はすべての experiments/*.ts を見つけて全部実行する。各評価は、エージェントがあなたのフレームワーク上で完了すべき具体タスク 1 件を試す。すでに .env を編集し、遠隔呼び出しと費用に同意した人向け。最初は実行予定のファイルを列挙し、確認してから実行する。原文が 1 ファイルだけ走らせる方法を書いていないときは、フィルタ引数を作らない。
利用上の境界
主経路は npx @vercel/agent-eval init my-agent-evals。現れないインストーラを主経路に書かない。本当に実行する前に .env へ AI_GATEWAY_API_KEY と VERCEL_TOKEN を自分で入れる。プレースホルダの偽秘密鍵を使わない。
引数なしはすべての experiments/*.ts を走らせる。各条は具体タスク 1 件だけをカバーする。汎用ベンチマーク一式だと捉えない。評価ファイルの内部フィールドは原文で展開されていないので足さない。公式ページは
https://github.com/vercel-labs/agent-eval
エージェントが勧める初期化コマンドがそのページと食い違うなら、そのページを優先する。