Promptfoo oder DeepEval: Wie fehlgeschlagene Regressionstests nach Promptänderungen das Zusammenführen wirklich blockieren

Promptfoo eignet sich zur konfigurationsbasierten Prüfung von Prompt-Modell-Kombinationen, DeepEval zur Einbindung von Evaluationen in Python-Tests. Entscheidend ist die Trennung von Einzelbewertung, Erfolgsquote der gesamten Testsuite und tatsächlich mergeblockierenden CI-Prüfungen sowie eine feste Basis aus Beispielen und Bewertungsmodell.

Quelle: www.promptfoo.dev
November 15, 2026
5 min

Nach einer Kürzung des Prompts sehen einige Demoantworten besser aus, doch Bestellfelder bleiben plötzlich leer. Die für die Veröffentlichung verantwortliche Person muss wissen: Welche bisherigen Fälle müssen weiterhin bestehen, und wer verhindert bei Fehlern das Zusammenführen? Promptfoo und DeepEval können Modellantworten beide in automatische Tests überführen. Der nützlichste Unterschied liegt darin, wo Testregeln gepflegt werden und wie ein Fehler die CI erreicht.

Sollen Prompts, Modelle und Beispiele in einer gemeinsam prüfbaren Konfiguration nebeneinander verglichen werden, ist Promptfoo vorrangig zu prüfen. Hat die Anwendung bereits Python-Tests, Datenvorbereitung und fachliche Assertions, eignet sich DeepEval eher dazu, Evaluationen in diese Tests einzubetten. Die folgenden Aussagen beruhen nicht auf einer Rangliste praktischer Laufergebnisse.

Zuerst klären, welche Produkte noch verglichen werden

Promptfoos Übernahmeankündigung sagt ausdrücklich, dass das Open-Source-Werkzeug weiter gepflegt und mehrere Modelle unterstützt werden. Das aktuelle Repository nennt Promptfoo als Teil von OpenAI und bleibt unter MIT-Lizenz quelloffen. Daraus darf weder eine Einstellung des Produkts noch eine Beschränkung auf OpenAI-Modelle abgeleitet werden. DeepEvals offizielles Repository stellt ein Open-Source-Evaluationsframework bereit; die gehostete Plattform Confident AI ist eine separate Dienstleistungsebene.

Beide können Teil von Regressionstests vor der Veröffentlichung sein. Dieser Artikel vergleicht ausschließlich, wie nach Promptänderungen bereits bestätigtes Verhalten abgesichert wird. Die Anzahl der Red-Teaming-Funktionen, Produktionsmonitoring oder Hersteller-Benchmarkwerte ersetzen diese Auswahlfrage nicht.

Wer pflegt die Fehlerregeln?

Promptfoos Einführung und Assertion-Dokumentation beschreiben Evaluationen per CLI oder Bibliothek mit Prüfungen auf Gleichheit, JSON-Struktur und eigenen Funktionen. Die Konfiguration erleichtert den Vergleich alter und neuer Prompts an denselben Beispielen. Dafür benötigen komplexe Datenvorbereitung und fachliche Entscheidungen weiterhin Code. YAML versteht Bestellregeln nicht automatisch.

DeepEvals Dokumentation zu Unit-Tests in CI trennt Datenladen, Aufbau von Testfällen und Testausführung. Beispiele können aus CSV, JSON oder Code stammen, über assert_test eingebunden und mit deepeval test run ausgeführt werden. Bestehende Verantwortliche für Python-Tests können diesen Arbeitsweg weiterführen; Produktkollegen können Testfunktionen aber möglicherweise nicht direkt ändern. Konfigurationsorientierung und Python-Orientierung sind Unterschiede der hauptsächlichen Arbeitsweise, keine absoluten Fähigkeitsgrenzen.

Angenommen, eine Supportzusammenfassung muss order_id enthalten und darf „Erstattung beantragt“ nicht zu „Erstattung eingegangen“ machen. Ersteres sollte zunächst mit einer Strukturprüfung oder ausdrücklichen Regel geprüft werden. Für Letzteres kommt anschließend ein Modellbewerter mit klaren Kriterien infrage. Werden deterministisch prüfbare Bedingungen zuerst getrennt, muss ein unscharfer „Qualitätswert“ nicht zugleich Format und fachliche Bedeutung verantworten.

Ein Score blockiert noch keinen Merge

Promptfoos GitHub Action bietet fail-on-threshold, gemessen als bestandener Prozentsatz der gesamten Testsuite von 0 bis 100. DeepEvals G-Eval erlaubt dagegen threshold für eine einzelne Metrik; threshold=None ist ein reiner Bewertungsmodus. Gesamterfolgsquote und Einzelmetriken dürfen nicht als dieselbe Größe verglichen werden, selbst wenn beide als 0.9 oder 90% dargestellt werden.

Bei angenommenen 100 gleich gewichteten Tests können trotz 95% Gesamterfolgsquote noch 5 fehlschlagen. Darf eine fehlende Bestellnummer keinesfalls vorkommen, müssen solche kritischen Tests separat verpflichtend bestehen, statt im Durchschnitt unterzugehen. Das ist eine vom Team zu entwerfende Veröffentlichungsregel, keine automatisch durch die Frameworkwahl entstehende Absicherung.

DeepEval unterscheidet außerdem ausdrücklich Unit-Tests mit assert_test von evaluate: Ersteres lässt den Test bei nicht erfüllten Metriken fehlschlagen, Letzteres sammelt Ergebnisse und lässt nicht selbstständig den Build scheitern. Bei beiden muss geprüft werden, ob Fehler einen fehlgeschlagenen CI-Status erzeugen und ob dieser Check als Voraussetzung für das Zusammenführen eingerichtet ist. Eine vorhandene Ergebnisdatei oder ein roter Score auf einer Seite beweist noch keine Merge-Sperre.

Nur mit festem Bewerter lassen sich Unterschiede erklären

Promptfoos llm-rubric erlaubt, Bewertungs-provider und zugehörige Parameter ausdrücklich festzulegen. DeepEvals G-Eval unterstützt model und evaluation_steps; fehlen Schritte, werden sie aus criteria erzeugt. Für Regressionsvergleiche sollten Bewertungsmodell, Regeln und Schritte gespeichert werden, nicht nur der letzte Zahlenwert. Ein Modellbewerter liefert ein regelbasiertes Urteil, keine unmittelbar gültige Tatsachenwahrheit oder menschliche Genauigkeitsrate.

Es empfiehlt sich, Anwendungs-Commit, Prompt, Beispielsnapshot, erwartete Ausgabe, Version der Evaluationsbibliothek, Bewertungsmodell und Bewertungsregeln als gemeinsame Baseline zu speichern. Modellversionen sollten nach Möglichkeit fixiert und Sampling- sowie Cache-Einstellungen dokumentiert werden. Bei Promptfoo Action ist promptfoo-version standardmäßig latest; eine offizielle Baseline sollte nicht von einer beweglichen Version abhängen. Das Fixieren dieser Bedingungen reduziert unerklärbare Änderungen, garantiert aber keine vollständige Gleichheit entfernter Modellantworten bei jedem Lauf.

Unterscheiden Sie vorab außerdem drei Ergebnisse: fachlich unzureichende Antwort, Zeitüberschreitung oder Authentifizierungsfehler beim Modellaufruf sowie schwankende Bewerterurteile bei Grenzfällen. Infrastrukturfehler dürfen nicht als bestandene Antwort zählen. Wiederholen, bis alles grün ist, löst das Problem ebenfalls nicht. Kalibrieren Sie den Bewerter zunächst mit vom Team bestätigten guten und schlechten Antworten und legen Sie dann Bedingungen für Wiederholungen und menschliche Prüfung fest. Gleichnamige Scores beider Tools sind erst bei identischen Daten, Bewertern und Regeln sinnvoll vergleichbar.

Open-Source-Tests und Hosting getrennt abnehmen

Promptfoos Tarifseite ordnet sämtliche LLM-Evaluationsfunktionen Community zu und erlaubt lokale Ausführung oder Selbsthosting. Teamzusammenarbeit, SSO und gehostete Cloud-Bereitstellung stehen unter Enterprise. DeepEvals Schnellstart erklärt, dass lokale Evaluationen unabhängig laufen und Ergebnisse nach Anmeldung an Confident AI gesendet werden können. Die Baseline-Markierung official in der CI-Dokumentation erfordert CONFIDENT_API_KEY, weil diese Baseline in Confident AI gespeichert wird. Cloud-Baseline-Verwaltung darf nicht als kontolose lokale Fähigkeit dargestellt werden.

Open Source bedeutet auch keine Betriebskosten von null. Aufrufe des getesteten Modells und des Bewerters, CI-Ressourcen und Fehlerprüfung benötigen Budget. Im Auswahltest können dieselben bestätigten Beispiele um ein fehlendes Feld, einen Bedeutungsfehler und einen simulierten Aufruffehler ergänzt werden. Prüfen Sie, welche Regel fehlschlägt, ob die CI blockiert und ob Ergebnisse auf eine feste Baseline zurückführbar sind. Das ist eine vorgeschlagene Abnahmemethode, kein für diesen Artikel bereits durchgeführter Test.

Besteht die Hauptaufgabe in der Prüfung von Konfigurationsunterschieden zwischen Prompt-Modell-Kombinationen, testen Sie zuerst Promptfoo. Sollen vor allem Python-Datenvorbereitung, fachliche Assertions und Testabläufe wiederverwendet werden, testen Sie zuerst DeepEval. Entscheiden Sie sich schließlich für den Weg, dessen Fehlerregeln das Team dauerhaft pflegen kann, und beweisen Sie mit einem absichtlich fehlschlagenden Check, dass er den Veröffentlichungszugang tatsächlich absichert.

Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.

Originalquelle:www.promptfoo.dev