Promptfoo e DeepEval: como fazer falhas de regressão de prompts impedirem a integração
O Promptfoo favorece a revisão de combinações de prompts e modelos por configuração; o DeepEval integra a avaliação em testes Python. A escolha exige distinguir pontuações individuais, taxas de aprovação do conjunto e verificações de CI que realmente impedem a integração, fixando os exemplos e a referência do avaliador.
Depois de tornar um prompt mais conciso, algumas respostas de demonstração ficam melhores, mas campos dos pedidos começam a desaparecer. Quem responde pela publicação precisa saber quais casos antigos devem continuar a passar e quem impedirá a integração se falharem. Promptfoo e DeepEval podem transformar saídas de modelos em testes automáticos. A diferença mais útil está em onde ficam as regras dos testes e em como as falhas chegam à CI.
Se a equipa quer comparar prompts, modelos e exemplos lado a lado numa configuração que possa ser revista, vale avaliar primeiro o Promptfoo. Se a aplicação já tem testes Python, preparação de dados e asserções de negócio, o DeepEval é mais adequado para incorporar a avaliação nesses testes. A análise baseia-se em materiais oficiais, não numa classificação de resultados de execução.
Confirme quais produtos estão em comparação
O anúncio de aquisição do Promptfoo afirma explicitamente que continuará a manter as ferramentas de código aberto e a suportar vários modelos. O repositório atual diz que já faz parte da OpenAI e continua aberto sob licença MIT. Isso não permite concluir que o produto encerrou ou que só pode testar modelos da OpenAI. O repositório oficial do DeepEval disponibiliza um framework de avaliação de código aberto; a plataforma alojada Confident AI constitui outra camada de serviço.
Ambos podem integrar verificações de regressão antes da publicação. Este artigo compara apenas como preservar comportamentos já aprovados após alterações dos prompts. Quantidades de funcionalidades de red teaming, capacidades de monitorização em produção ou pontuações de benchmarks dos fornecedores não substituem essa decisão.
Quem mantém as regras de falha?
A introdução e a documentação de asserções do Promptfoo explicam que as avaliações podem ser executadas por CLI ou biblioteca e verificar condições de igualdade, estrutura JSON e funções personalizadas. A abordagem por configuração facilita comparar prompts antigos e novos com os mesmos exemplos. Em contrapartida, a preparação complexa dos dados e os julgamentos de negócio continuam a exigir código. YAML não compreende automaticamente as regras dos pedidos.
A documentação de testes unitários em CI do DeepEval separa o carregamento dos dados, a construção dos casos e a execução dos testes. Os exemplos podem vir de CSV, JSON ou código, sendo ligados aos testes por assert_test e executados por deepeval test run. Quem já mantém testes Python pode seguir essa cadeia de responsabilidade, mas os colegas de produto talvez não consigam editar diretamente as funções de teste. Orientação por configuração ou por Python descreve a principal forma de trabalhar, não limites absolutos das capacidades dos produtos.
Por exemplo, suponha que um resumo de atendimento precisa de incluir order_id e não pode transformar “reembolso solicitado” em “reembolso recebido”. Verifique a primeira condição pela estrutura ou por uma regra explícita; para a segunda, considere um modelo avaliador com critérios claros. Separar primeiro o que pode ser verificado de forma determinística evita que uma vaga “pontuação de qualidade” responda simultaneamente pelo formato e pelo significado de negócio.
Ter uma pontuação não significa impedir a integração
A GitHub Action do Promptfoo oferece fail-on-threshold, medido como a percentagem de aprovação do conjunto de testes, entre 0 e 100. O G-Eval do DeepEval permite definir threshold para uma métrica individual; threshold=None ativa o modo de apenas pontuação. A taxa de aprovação do conjunto e a pontuação de uma métrica individual são grandezas diferentes, mesmo quando expressas como 0.9 ou 90%.
Num exemplo hipotético de 100 testes com o mesmo peso, uma taxa de aprovação de 95% ainda pode deixar 5 falhas. Se a ausência do número de pedido for inaceitável, esses testes críticos devem ter uma exigência separada de aprovação obrigatória, em vez de ficarem escondidos na média. Essa é uma política de publicação que a equipa precisa de definir, não uma garantia obtida automaticamente ao escolher um framework.
A documentação do DeepEval também distingue os testes unitários com assert_test de evaluate: os primeiros fazem o teste falhar quando a métrica não cumpre o requisito; o segundo recolhe resultados sem, por si só, fazer a compilação falhar. Em qualquer das ferramentas, confirme que uma falha produz um estado de CI falhado e que essa verificação é obrigatória antes da integração. A existência de um relatório ou de uma pontuação vermelha numa página não prova que a integração será impedida.
Fixe o avaliador para conseguir explicar as diferenças
O llm-rubric do Promptfoo permite indicar explicitamente o provider do avaliador e os parâmetros associados. O G-Eval do DeepEval permite especificar model e evaluation_steps; se os passos não forem fornecidos, gera-os a partir de criteria. Para comparar regressões, guarde o modelo avaliador, as regras e os passos, não apenas o número final. Um modelo avaliador emite um julgamento segundo critérios; a pontuação não pode ser tomada diretamente como verdade factual ou precisão humana.
É aconselhável guardar, numa mesma referência, o commit da aplicação, o prompt, uma cópia dos exemplos, as saídas esperadas, a versão da biblioteca de avaliação, o modelo avaliador e as regras de pontuação. Fixe também as versões dos modelos quando possível e registe as configurações de amostragem e cache. Na Action do Promptfoo, promptfoo-version assume latest por omissão; uma referência formal não deve depender de uma versão flutuante. Fixar estas condições reduz mudanças inexplicadas, mas não garante que um modelo remoto se comporte exatamente da mesma forma em todas as execuções.
Distinga antecipadamente três resultados: resposta de negócio inadequada, timeout ou falha de autenticação na chamada ao modelo e variação do avaliador em casos limítrofes. Erros de infraestrutura não podem contar como respostas aprovadas; repetir até a verificação ficar verde também não resolve o problema. Pode primeiro calibrar o avaliador com respostas boas e más confirmadas pela equipa e depois definir condições para repetições e revisão humana. Mesmo pontuações com o mesmo nome só são comparáveis entre as ferramentas quando os dados, o avaliador e as regras são iguais.
Avalie separadamente o código aberto e os serviços alojados
A página de planos do Promptfoo inclui todas as funcionalidades de avaliação de LLM no Community e permite execução local ou alojamento próprio. Colaboração em equipa, SSO e implementação em cloud gerida aparecem no Enterprise. O guia inicial do DeepEval explica que as avaliações locais funcionam de forma independente e que, após iniciar sessão, é possível enviar as execuções para o Confident AI. A marcação de referência official na documentação de CI exige CONFIDENT_API_KEY porque essa referência fica no Confident AI. Não se deve tratar a gestão de referências na cloud como uma capacidade local que dispensa conta.
Código aberto não significa custo operacional nulo: chamadas ao modelo testado e ao avaliador, recursos de CI e revisão de falhas exigem orçamento. Numa experiência de seleção, use o mesmo conjunto de exemplos aprovados e introduza um campo em falta, um erro semântico e uma falha de chamada simulada. Veja qual regra falha, se a CI bloqueia a alteração e se os resultados são rastreáveis até uma referência fixa. Este é um método de aceitação proposto, não um teste executado para este artigo.
Quando o trabalho principal é rever diferenças de configuração entre combinações de prompts e modelos, experimente primeiro o Promptfoo. Quando é reutilizar preparação de dados, asserções de negócio e fluxos de teste em Python, experimente primeiro o DeepEval. Escolha, no fim, o caminho cujas regras de falha a equipa consegue manter e use uma verificação deliberadamente falhada para provar que ela protege realmente a entrada em publicação.
Nota sobre o conteúdo:Este artigo foi elaborado com base em informações públicas e serve como referência para a escolha de ferramentas. Os recursos, os preços e as políticas relacionadas podem mudar a qualquer momento; consulte as informações oficiais mais recentes.
Fonte original:www.promptfoo.dev