Promptfoo ou DeepEval : faire réellement bloquer la fusion par une régression après modification d’un prompt

Promptfoo convient pour examiner par configuration les combinaisons de prompts et de modèles ; DeepEval pour intégrer l’évaluation aux tests Python. Il faut distinguer score individuel, taux de réussite global et contrôle CI bloquant réellement la fusion, tout en fixant les exemples et la référence du modèle évaluateur.

Source: www.promptfoo.dev
15 novembre 2026
6 min

Après avoir raccourci un prompt, quelques réponses de démonstration semblent meilleures, mais des champs de commande commencent à manquer. Le responsable de livraison doit savoir quels anciens cas doivent toujours réussir et qui empêchera la fusion en cas d’échec. Promptfoo et DeepEval transforment tous deux les sorties des modèles en tests automatiques. La différence la plus utile concerne l’endroit où vivent les règles et la manière dont les échecs arrivent à la CI.

Si l’équipe veut comparer prompts, modèles et exemples dans une configuration examinable, évaluez Promptfoo en priorité. Si l’application possède déjà tests Python, préparation des données et assertions métier, DeepEval se prête davantage à l’insertion d’évaluations dans ces tests. L’analyse repose sur les informations officielles vérifiées le 10 novembre 2026, pas sur un classement des résultats d’exécution.

Vérifier d’abord quels produits sont comparés

L’annonce d’acquisition de Promptfoo précise que l’outil open source continuera d’être maintenu et de prendre en charge plusieurs modèles. Le dépôt actuel indique que Promptfoo fait partie d’OpenAI et reste open source sous licence MIT. Cela ne signifie ni l’arrêt du produit ni une restriction aux modèles OpenAI. Le dépôt officiel de DeepEval fournit un framework d’évaluation open source ; la plateforme hébergée Confident AI constitue une autre couche de service.

Les deux peuvent participer aux contrôles de régression avant livraison. Cet article compare seulement la protection des comportements confirmés après modification d’un prompt. Le nombre de fonctions de red teaming, la surveillance en production ou les scores de benchmark des éditeurs ne remplacent pas ce choix.

Qui entretient les règles d’échec ?

L’introduction de Promptfoo et sa documentation des assertions décrivent des évaluations exécutées par CLI ou bibliothèque, capables de vérifier égalité, structure JSON et fonctions personnalisées. La configuration facilite la comparaison d’anciens et nouveaux prompts sur les mêmes exemples. En contrepartie, préparation complexe des données et décisions métier exigent encore du code : YAML ne comprend pas automatiquement les règles de commande.

La documentation de tests unitaires en CI de DeepEval sépare chargement des données, construction des cas et exécution. Les exemples peuvent venir de CSV, JSON ou du code, être intégrés par assert_test(), puis exécutés avec deepeval test run. Les responsables des tests Python existants peuvent conserver cette chaîne de responsabilité, mais les collègues produit ne pourront pas nécessairement modifier directement les fonctions de test. Configuration et Python sont des modes de travail dominants différents, pas des frontières absolues de capacités.

Supposons qu’un résumé de support doive contenir order_id et ne puisse transformer « remboursement demandé » en « remboursement reçu ». Vérifiez d’abord le premier point par structure ou règle explicite ; envisagez ensuite, pour le second, un modèle évaluateur doté de critères clairs. Séparer les conditions vérifiables de façon déterministe évite de charger un vague « score de qualité » de contrôler à la fois format et sens métier.

Un score ne bloque pas nécessairement la fusion

La GitHub Action de Promptfoo propose fail-on-threshold, exprimé en pourcentage de réussite de toute la suite, de 0 à 100. Le G-Eval de DeepEval permet de définir threshold pour une métrique individuelle ; threshold=None signifie notation seule. Taux de réussite global et score individuel ne sont pas la même grandeur, même écrits 0.9 ou 90%.

Avec 100 tests hypothétiques de poids égal, un taux global de 95% peut encore laisser 5 échecs. Si l’absence du numéro de commande est interdite, ces tests critiques doivent être rendus obligatoires séparément au lieu d’être masqués par la moyenne. C’est une politique de livraison à concevoir par l’équipe, pas une protection obtenue automatiquement en choisissant un framework.

DeepEval distingue aussi les tests unitaires utilisant assert_test() de evaluate() : le premier fait échouer le test lorsque les métriques ne satisfont pas les seuils ; le second collecte les résultats sans faire échouer lui-même le build. Avec les deux outils, vérifiez qu’un échec produit un statut CI en échec et que ce contrôle est exigé avant fusion. Un fichier de rapport ou un score rouge dans une page ne prouve pas que la fusion sera bloquée.

Fixer l’évaluateur pour expliquer les différences

Le llm-rubric de Promptfoo permet d’indiquer explicitement le provider évaluateur et ses paramètres. G-Eval prend en charge model et evaluation_steps ; sans étapes fournies, il les génère à partir de criteria. Pour comparer des régressions, conservez modèle évaluateur, règles et étapes, pas seulement le dernier nombre. Le modèle produit un jugement selon des règles, pas une vérité factuelle ni un taux d’exactitude humaine à reprendre directement.

Il est conseillé de conserver dans une même référence le commit de l’application, le prompt, l’instantané des exemples, les sorties attendues, la version de bibliothèque d’évaluation, le modèle évaluateur et les règles de notation. Fixez aussi la version du modèle lorsque c’est possible et notez paramètres d’échantillonnage et de cache. Dans Promptfoo Action, promptfoo-version vaut latest par défaut ; une référence officielle ne devrait pas dépendre d’une version flottante. Fixer ces conditions réduit les variations inexpliquées sans garantir que le modèle distant répondra exactement de la même façon à chaque fois.

Distinguez aussi à l’avance trois résultats : réponse métier insuffisante, dépassement de délai ou erreur d’authentification lors de l’appel, et fluctuation de l’évaluateur sur un cas limite. Une erreur d’infrastructure ne peut pas compter comme une réponse réussie ; relancer jusqu’au vert ne résout pas non plus le problème. Calibrez d’abord l’évaluateur avec de bonnes et mauvaises réponses validées par l’équipe, puis fixez conditions de répétition et de revue humaine. Des scores portant le même nom dans les deux outils ne deviennent comparables qu’avec les mêmes données, évaluateurs et règles.

Valider séparément tests open source et services hébergés

La page des offres de Promptfoo inclut toutes les fonctions d’évaluation LLM dans Community et permet l’exécution locale ou l’auto-hébergement. Collaboration d’équipe, SSO et déploiement cloud hébergé figurent dans Enterprise. Le démarrage rapide de DeepEval indique que l’évaluation locale fonctionne seule et qu’après connexion, les résultats peuvent être envoyés à Confident AI. La marque de référence official dans la documentation CI exige CONFIDENT_API_KEY, car cette référence est stockée dans Confident AI. La gestion des références cloud n’est pas une capacité locale sans compte.

Open source ne signifie pas non plus coût d’exécution nul : appels au modèle testé et à l’évaluateur, ressources CI et revue des échecs doivent être budgétés. Pour l’essai, utilisez les mêmes exemples confirmés et ajoutez un champ manquant, une erreur de sens et un échec d’appel simulé. Vérifiez quelle règle échoue, si la CI bloque et si le résultat se rattache à une référence fixée. C’est une méthode de validation recommandée, pas un test déjà réalisé pour cet article.

Si le travail principal consiste à examiner les différences de configuration entre combinaisons de prompts et de modèles, essayez Promptfoo d’abord. S’il consiste à réutiliser préparation Python, assertions métier et processus de test, essayez DeepEval d’abord. Choisissez finalement la voie dont l’équipe peut entretenir durablement les règles d’échec et prouvez, par un contrôle volontairement en échec, qu’elle protège réellement l’entrée en livraison.

À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.

Source originale :www.promptfoo.dev