EvalCore
AI アプリケーションの実際の動作を記録して CI でオフライン再生し、変更による回帰をユーザーより先に見つけます。
EvalCoreについて
EvalCore は Apache-2.0 のオープンソース AI アプリケーション評価ツールです。プロンプトの変更、モデルの切り替え、依存関係の更新後に AI の実際の動作を記録してベースラインと比較し、ユーザーより先に回帰を見つけます。HTTP または shell に対応するサービスなら、SDK 不要かつプログラミング言語を問わず評価対象にできます。初回実行時に実モデルを呼び出してリクエストとレスポンスをローカルの SQLite cassette に記録し、その後は各 PR を CI でオフライン再生するため、API キーは不要で同じ入力から同じ結論が得られます。--baseline main と組み合わせれば回帰がある場合だけ失敗します。ツールは依存関係のない単一バイナリで、テレメトリ、登録、サーバーは不要です。公式ページでは CI 利用を $0 と記載しています。
おすすめの利用者
最適な利用シーン
プロンプトやモデルを変更した後、AI アプリケーションの動作が劣化していないか確認する
PR 用のオフライン回帰ゲートを構築し、劣化がある場合だけ CI を失敗させる
HTTP または shell 経由でアクセスするサービスの評価データセットを構築する
評価実行ごとのトークン使用量とコストを集計する
機能
動作の記録
初回実行時に実モデルを呼び出し、すべてのリクエストとレスポンスをローカルの SQLite cassette に記録し、トークン使用量とコストを集計します。
オフライン再生
CI で cassette をネットワーク接続や API キーなしに再生し、同じ入力から常に同じ結論を得ます。
ベースラインゲート
--baseline main でベースラインと比較し、回帰がある場合だけ失敗させます。CI は終了コードをゲートとして使用します。
幅広い互換性
OpenAI、vLLM、Ollama、任意の OpenAI 互換ゲートウェイ、自前の REST API、shell コマンド、OTel / OpenInference トレースに対応します。
長所
- 依存関係のない単一バイナリで、あらゆる言語から利用可能
- オフライン再生により同じ入力から同じ結論が得られ、評価の揺らぎを回避
- Apache-2.0 オープンソースで、公式ページでは CI 利用を $0 と記載
- テレメトリ、登録、サーバーが不要