EvalCore
Registra el comportamiento real de las aplicaciones de IA y lo reproduce sin conexión en CI para detectar antes que los usuarios las regresiones causadas por cambios.
Acerca de EvalCore
EvalCore es una herramienta de evaluación de aplicaciones de IA de código abierto Apache-2.0: después de cambiar prompts, cambiar de modelo o actualizar dependencias, registra el comportamiento real de la IA y lo compara con una línea base para detectar regresiones antes que los usuarios. Cualquier servicio compatible con HTTP o shell puede ser un objetivo de evaluación, sin SDK e independientemente del lenguaje de programación. En la primera ejecución llama al modelo real y registra las solicitudes y respuestas en una cassette SQLite local; después, cada PR la reproduce sin conexión en CI, sin clave de API, para que entradas idénticas produzcan conclusiones idénticas, y con --baseline main solo falla ante regresiones. La herramienta es un único binario sin dependencias, no requiere telemetría, registro ni servidor, y la página oficial indica que el uso en CI cuesta $0.
Ideal para
Mejores casos de uso
Comprobar si el comportamiento de una aplicación de IA se ha degradado después de cambiar un prompt o modelo
Crear una puerta de regresión sin conexión para PR, de modo que CI falle solo cuando aparezca una degradación
Crear conjuntos de datos de evaluación para servicios accesibles mediante HTTP o shell
Registrar el uso de tokens y el coste de cada ejecución de evaluación
Funciones
Registro del comportamiento
En la primera ejecución llama al modelo real, registra cada solicitud y respuesta en una cassette SQLite local y resume el uso de tokens y el coste.
Reproducción sin conexión
En CI reproduce la cassette sin acceso a la red ni clave de API; las entradas idénticas siempre producen conclusiones idénticas.
Puerta de línea base
Compara con la línea base mediante --baseline main y falla solo cuando hay regresiones; CI usa el código de salida como puerta de control.
Amplia compatibilidad
Admite OpenAI, vLLM, Ollama, cualquier pasarela compatible con OpenAI, tu propia API REST, comandos shell y trazas de OTel / OpenInference.
Ventajas
- Un único binario sin dependencias, utilizable con cualquier lenguaje
- La reproducción sin conexión produce conclusiones idénticas con entradas idénticas y evita la variabilidad de las evaluaciones
- Código abierto Apache-2.0; la página oficial indica que el uso en CI cuesta $0
- No requiere telemetría, registro ni servidor