EvalCore
Zeichnet das tatsächliche Verhalten von KI-Anwendungen auf und spielt es offline in CI ab, damit durch Änderungen verursachte Regressionen vor den Nutzern erkannt werden.
Über EvalCore
EvalCore ist ein Open-Source-Tool zur Bewertung von KI-Anwendungen unter Apache-2.0: Nach Änderungen an Prompts, einem Modellwechsel oder der Aktualisierung von Abhängigkeiten zeichnet es das tatsächliche Verhalten der KI auf und vergleicht es mit einer Basis, um Regressionen vor den Nutzern zu erkennen. Jeder Dienst mit HTTP- oder Shell-Unterstützung kann als Evaluationsziel dienen, ohne SDK und unabhängig von der Programmiersprache. Beim ersten Lauf ruft es das echte Modell auf und zeichnet Anfragen und Antworten in einer lokalen SQLite-Kassette auf; danach spielt jeder PR sie in CI offline ab, ohne API-Schlüssel, sodass identische Eingaben identische Ergebnisse liefern, und mit --baseline main schlägt es nur bei Regressionen fehl. Das Tool ist ein einzelnes Binärprogramm ohne Abhängigkeiten, benötigt weder Telemetrie noch Registrierung oder Server; laut offizieller Seite kostet die CI-Nutzung $0.
Am besten geeignet
Beste Einsatzszenarien
Nach Änderungen an Prompt oder Modell prüfen, ob sich das Verhalten der KI-Anwendung verschlechtert hat
Ein Offline-Regressions-Gate für PRs einrichten, damit CI nur bei einer Verschlechterung fehlschlägt
Evaluationsdatensätze für per HTTP oder Shell erreichbare Dienste erstellen
Token-Verbrauch und Kosten jedes Evaluationslaufs erfassen
Funktionen
Verhaltensaufzeichnung
Beim ersten Lauf ruft es das echte Modell auf, zeichnet jede Anfrage und Antwort in einer lokalen SQLite-Kassette auf und fasst Token-Verbrauch und Kosten zusammen.
Offline-Wiedergabe
In CI wird die Kassette ohne Netzwerkzugriff und API-Schlüssel abgespielt; identische Eingaben liefern immer identische Ergebnisse.
Basis-Gate
Mit --baseline main wird mit der Basis verglichen und nur bei Regressionen fehlgeschlagen; CI verwendet den Exit-Code als Gate.
Breite Kompatibilität
Unterstützt OpenAI, vLLM, Ollama, jedes OpenAI-kompatible Gateway, eigene REST-APIs, Shell-Befehle und OTel / OpenInference-Tracing.
Vorteile
- Einzelnes Binärprogramm ohne Abhängigkeiten, mit jeder Sprache nutzbar
- Offline-Wiedergabe liefert bei identischen Eingaben identische Ergebnisse und vermeidet Schwankungen bei Bewertungen
- Open Source unter Apache-2.0; laut offizieller Seite kostet die CI-Nutzung $0
- Keine Telemetrie, Registrierung oder Server erforderlich