EvalCore
Registra o comportamento real de aplicações de IA e o reproduz offline na CI, ajudando a encontrar antes dos usuários as regressões causadas por alterações.
Sobre EvalCore
EvalCore é uma ferramenta de avaliação de aplicações de IA de código aberto Apache-2.0: após mudar prompts, trocar de modelo ou atualizar dependências, registra o comportamento real da IA e o compara com uma linha de base para encontrar regressões antes dos usuários. Qualquer serviço compatível com HTTP ou shell pode ser um alvo de avaliação, sem SDK e independentemente da linguagem de programação. Na primeira execução, chama o modelo real e registra solicitações e respostas em uma cassette SQLite local; depois, cada PR a reproduz offline na CI, sem chave de API, para que entradas idênticas produzam conclusões idênticas, e com --baseline main falha somente em regressões. A ferramenta é um único binário sem dependências, não exige telemetria, cadastro nem servidor, e a página oficial informa que o uso em CI custa $0.
Ideal para
Melhores casos de uso
Verificar se o comportamento de uma aplicação de IA piorou após mudar um prompt ou modelo
Criar um bloqueio de regressão offline para PRs, fazendo a CI falhar somente quando houver degradação
Criar conjuntos de dados de avaliação para serviços acessados por HTTP ou shell
Acompanhar o uso de tokens e o custo de cada execução de avaliação
Funcionalidades
Registro do comportamento
Na primeira execução, chama o modelo real, registra cada solicitação e resposta em uma cassette SQLite local e resume o uso de tokens e o custo.
Reprodução offline
Na CI, reproduz a cassette sem acesso à rede nem chave de API; entradas idênticas sempre produzem conclusões idênticas.
Bloqueio da linha de base
Compara com a linha de base usando --baseline main e falha somente em regressões; a CI usa o código de saída como bloqueio.
Ampla compatibilidade
Oferece suporte a OpenAI, vLLM, Ollama, qualquer gateway compatível com OpenAI, sua própria API REST, comandos shell e rastreamento OTel / OpenInference.
Vantagens
- Um único binário sem dependências, utilizável com qualquer linguagem
- A reprodução offline gera conclusões idênticas para entradas idênticas e evita oscilações na avaliação
- Código aberto Apache-2.0; a página oficial informa que o uso em CI custa $0
- Não exige telemetria, cadastro nem servidor