EvalCore
Enregistre le comportement réel des applications IA et le rejoue hors ligne en CI pour détecter les régressions causées par les changements avant les utilisateurs.
À propos de EvalCore
EvalCore est un outil open source Apache-2.0 d’évaluation des applications IA : après un changement de prompt, de modèle ou de dépendances, il enregistre le comportement réel de l’IA et le compare à une référence pour détecter les régressions avant les utilisateurs. Tout service prenant en charge HTTP ou shell peut servir de cible d’évaluation, sans SDK et indépendamment du langage de programmation. Lors de la première exécution, il appelle le modèle réel et enregistre les requêtes et les réponses dans une cassette SQLite locale ; ensuite, chaque PR la rejoue hors ligne en CI, sans clé API, afin que les mêmes entrées produisent les mêmes conclusions, et avec --baseline main l’échec ne survient qu’en cas de régression. L’outil est un binaire unique sans dépendances, sans télémétrie, inscription ni serveur requis ; la page officielle indique une utilisation en CI à $0.
Idéal pour
Meilleurs cas d'utilisation
Vérifier si le comportement d’une application IA s’est dégradé après un changement de prompt ou de modèle
Mettre en place un garde-fou de régression hors ligne pour les PR afin que la CI échoue uniquement en cas de dégradation
Créer des jeux de données d’évaluation pour les services accessibles par HTTP ou shell
Suivre l’utilisation des tokens et le coût de chaque exécution d’évaluation
Fonctionnalités
Enregistrement du comportement
Lors de la première exécution, il appelle le modèle réel, enregistre chaque requête et réponse dans une cassette SQLite locale, puis récapitule l’utilisation des tokens et le coût.
Relecture hors ligne
En CI, il rejoue la cassette sans accès réseau ni clé API ; les mêmes entrées produisent toujours les mêmes conclusions.
Garde-fou de référence
Comparez à la référence avec --baseline main et échouez uniquement en cas de régression ; la CI utilise le code de sortie comme garde-fou.
Large compatibilité
Prend en charge OpenAI, vLLM, Ollama, toute passerelle compatible avec OpenAI, votre API REST, les commandes shell et le traçage OTel / OpenInference.
Avantages
- Un binaire unique sans dépendances, utilisable avec n’importe quel langage
- La relecture hors ligne produit les mêmes conclusions pour les mêmes entrées et évite les variations d’évaluation
- Open source sous Apache-2.0 ; la page officielle indique une utilisation en CI à $0
- Aucune télémétrie, inscription ou serveur requis