E
EvalCore
记录 AI 应用真实行为并在 CI 中离线回放，帮你赶在用户之前发现改动引发的回归。
free
最后更新 2026/9/11
关于 EvalCore
EvalCore 是一款 Apache-2.0 开源的 AI 应用评测工具：更换提示词、切换模型或升级依赖后，它记录 AI 真实行为并与基线比对，赶在用户之前发现回归。任何支持 HTTP 或 shell 的服务都能作为评测目标，无需 SDK，与编程语言无关。首次运行调用真实模型并把请求与响应记录到本地 SQLite cassette；之后每个 PR 在 CI 离线回放，无需 API 密钥，相同输入得到相同结论，配合 --baseline main 仅在回归时失败。工具为单个免依赖二进制，无遥测、无需注册、无需服务器，官方页面标注 CI 使用为 $0。
适合人群
AI 应用开发者
LLM 应用工程团队
负责 CI/CD 质量门禁的工程师
适合场景
更换提示词或模型后，检查 AI 应用行为是否退化
为 PR 建立离线回归门禁，让 CI 只在出现退化时失败
为通过 HTTP 或 shell 访问的服务搭建评测数据集
统计每次评测运行的 token 用量与成本
功能特性
行为记录
首次运行调用真实模型，将每个请求与响应记录到本地 SQLite cassette，并汇总 token 用量与成本。
离线回放
CI 中回放 cassette，无需网络与 API 密钥，相同输入始终得到相同结论。
基线门禁
配合 --baseline main 与基线比对，仅在出现回归时失败，CI 以退出码作为门禁。
广泛兼容
支持 OpenAI、vLLM、Ollama、任何 OpenAI 兼容网关、自有 REST API、shell 命令及 OTel / OpenInference 追踪。
优点
- 单个免依赖二进制，任何语言都能使用
- 离线回放让相同输入得到相同结论，避免评测抖动
- Apache-2.0 开源，官方页面标注 CI 使用为 $0
- 无遥测、无需注册、无需服务器
常见问题
官方页面标注其为 Apache-2.0 开源软件，CI 使用为 $0，且无需注册、无遥测、无需服务器。
首次运行调用真实模型并把请求与响应记录到本地 SQLite cassette；之后每个 PR 离线回放 cassette，不联网、不需要 API 密钥，CI 以退出码作为门禁。
工具信息
开发商EvalCore
发布日期2026/9/11
定价模式free