E
EvalCore
記錄 AI 應用程式真實行為並在 CI 中離線重播，幫助你趕在使用者之前發現變更引發的回歸。
free
最後更新 2026/9/11
關於 EvalCore
EvalCore 是一款 Apache-2.0 開源的 AI 應用程式評測工具：更換提示詞、切換模型或升級相依套件後，它記錄 AI 真實行為並與基準比對，趕在使用者之前發現回歸。任何支援 HTTP 或 shell 的服務都能作為評測目標，無需 SDK，且與程式語言無關。首次執行會呼叫真實模型，並將要求與回應記錄到本機 SQLite cassette；之後每個 PR 在 CI 離線重播，無需 API 金鑰，相同輸入得到相同結論，搭配 --baseline main 僅在回歸時失敗。工具為單一免相依二進位檔，無遙測、無需註冊、無需伺服器，官方頁面標示 CI 使用為 $0。
適合人群
AI 應用程式開發者
LLM 應用程式工程團隊
負責 CI/CD 品質門禁的工程師
適合場景
更換提示詞或模型後，檢查 AI 應用程式行為是否退化
為 PR 建立離線回歸門禁，讓 CI 只在出現退化時失敗
為透過 HTTP 或 shell 存取的服務建立評測資料集
統計每次評測執行的 token 用量與成本
功能特性
行為記錄
首次執行會呼叫真實模型，將每個要求與回應記錄到本機 SQLite cassette，並彙總 token 用量與成本。
離線重播
在 CI 中重播 cassette，無需網路與 API 金鑰，相同輸入始終得到相同結論。
基準門禁
搭配 --baseline main 與基準比對，僅在出現回歸時失敗，CI 以結束碼作為門禁。
廣泛相容
支援 OpenAI、vLLM、Ollama、任何 OpenAI 相容閘道、自有 REST API、shell 指令及 OTel / OpenInference 追蹤。
優點
- 單一免相依二進位檔，任何語言都能使用
- 離線重播讓相同輸入得到相同結論，避免評測抖動
- Apache-2.0 開源，官方頁面標示 CI 使用為 $0
- 無遙測、無需註冊、無需伺服器
常見問題
官方頁面標示其為 Apache-2.0 開源軟體，CI 使用為 $0，且無需註冊、無遙測、無需伺服器。
首次執行會呼叫真實模型，並將要求與回應記錄到本機 SQLite cassette；之後每個 PR 在離線狀態重播 cassette，不連網、不需要 API 金鑰，CI 以結束碼作為門禁。
工具資訊
開發商EvalCore
釋出日期2026/9/11
定價模式free