Arize Phoenix und Braintrust: Wer macht aus einem fehlerhaften Trace eine vom Team anerkannte Testbasis?

Phoenix passt zu Engineering-Teams, die Self-Hosting und Experimentcode selbst pflegen wollen. Die Zuweisung von Reviews, Ergebnisse mehrerer Prüfender und benannte Snapshots von Braintrust passen eher zur rollenübergreifenden Zusammenarbeit. Bei der Auswahl zählt, wie aus einem Fehlerdatensatz ein freigegebenes Beispiel wird und wer Versionen, Bewertungskriterien und reproduzierbare Konfigurationen pflegt.

Quelle: arize.com
November 15, 2026
6 min

Ein Kundendienstassistent macht aus „Erstattungsantrag eingereicht“ die Aussage „Erstattung eingegangen“. Das Engineering findet den fehlerhaften Trace, und das Produktmanagement erkennt den Fehler. Aber findet das Team bei der nächsten Promptänderung noch denselben Fall, dieselbe Sollantwort und dieselbe Bewertung? Arize Phoenix und Braintrust bieten beide Tracing, Evaluierung, manuelle Annotation und Datensätze. Dieser Vergleich untersucht, wie aus schlechten Antworten eine übergabefähige Testbasis für das Team wird.

Wenn das Engineering Instanz, Beispielkonvertierung und Experimentcode selbst pflegen will, lohnt es sich, zunächst den Self-Hosting-Weg von Phoenix zu prüfen. Wenn Produkt- und Fachverantwortliche laufend Reviews zuweisen, mit mehreren Meinungen umgehen und benannte Snapshots pflegen müssen, passt der Zusammenarbeitsablauf von Braintrust besser, wobei der Tarif geprüft werden muss. Das Erstattungsbeispiel ist ein Analyseszenario, kein eigener Praxistest.

Aus dem Fehler zunächst ein Beispiel mit nachvollziehbarer Herkunft machen

In der Oberfläche für manuelle Annotation von Phoenix lassen sich Kategorien, kontinuierliche Bewertungen und Freitext konfigurieren. Sie zeigt die Autorinnen und Autoren der Annotationen sowie deren Herkunft von Menschen, Modellen oder Code. Spans können anschließend nach Annotation gefiltert und in Datensätze importiert werden. Fachkollegen können so erklären, dass „der Status übertrieben dargestellt wurde“, statt ihr Review auf eine negative Bewertung zu reduzieren.

Die Ein- und Ausgaben im Beispiel müssen allerdings überprüfbar mit dem ursprünglichen Trace verbunden sein. Die Dokumentation zur Herkunftsverknüpfung von Phoenix unterscheidet zwischen einer in metadata gespeicherten ID und einem expliziten source-Link. Nicht jeder beliebige Import enthält source. Das Engineering sollte an einem echten Beispiel prüfen, ob es zum ursprünglichen Span im richtigen Projekt zurückführt, statt nur eine aus dem Kontext gelöste Antwort aufzubewahren.

Das Review-Management von Braintrust erlaubt, Zeilen aus Logs, Experimenten oder Datensätzen Mitgliedern zuzuweisen, sie nach „ausstehend“, „mir zugewiesen“ und „abgeschlossen“ anzuzeigen und direkt in einen Datensatz aufzunehmen. Seine Datensatzstruktur trennt input, expected, metadata und tags; in input lässt sich auch ein Trace-Verweis speichern. Beide können Probleme aus dem Live-Betrieb mit Offline-Experimenten verbinden. Der Unterschied liegt darin, ob das Team eher technische Kontrolle oder einen Einstiegspunkt zur täglichen Zuweisung von Reviews benötigt.

Beim Erstattungsfall sollte die Produktverantwortung festhalten: „Der Antrag ist eingereicht; ein Zahlungseingang darf nicht behauptet werden.“ Das Engineering speichert die damalige Nutzereingabe, den nötigen Kontext und reproduzierbare Werkzeugrückgaben. Die fehlerhafte Ausgabe darf nicht unverändert zur Sollantwort erklärt werden. Ebenso wenig darf ein Trace-Verweis mit einer wiederabspielbaren Geschäftsumgebung gleichgesetzt werden. Untersuchungsmaterial und bestätigtes expected sind als zwei unterschiedliche Verwendungszwecke zu erhalten; vor Aufnahme in die Testbasis müssen sensible Felder geprüft werden.

Zwei Bewertungen ergeben noch keine Sollantwort

Phoenix zeigt Meinungen und Begründungen unterschiedlicher Annotierender an und eignet sich damit für Diskussionen zwischen Engineering und Fachbereich am selben Span. Die Regeln für mehrere Prüfende von Braintrust sind expliziter: Die Bewertung jeder Person wird unabhängig gespeichert; numerische und kategoriale Bewertungen werden gemittelt und dem übergeordneten Span zugeordnet. Text oder in expected geschriebene kategoriale Ergebnisse lassen sich nicht mitteln. Dafür muss ein Ergebnis als Basiswert ausgewählt werden.

Wenn zwei Fachleute 0 und 1 vergeben, zeigt der Mittelwert 0.5 daher nur Uneinigkeit an, nicht einen „halb richtigen“ Erstattungsstatus. Das Team sollte festlegen, wer entscheidet, wie Begründungen dokumentiert werden und wann ein Beispiel in einen freigegebenen Datensatz aufgenommen werden darf. Das ist eine fachliche Verantwortung, die die Plattform nicht übernimmt. Die Sichtbarkeit von Bewertungen in Braintrust ist lediglich ein Anzeigefilter im Review-Formular. Verborgene Werte können wieder angezeigt werden; dies ist keine Trennung von Zugriffsrechten.

Erst die Datenversion fixieren, dann über Verbesserungen sprechen

Die Datensatzbeschreibung von Phoenix hält fest, dass Einfügungen, Änderungen und Löschungen versioniert werden. Experimente können auf eine bestimmte Version festgelegt werden. Braintrust verfolgt Datenänderungen ebenfalls, aber benannte Snapshots sind Pro und Enterprise vorbehalten. Haben sich seit dem Snapshot mehr als 20,000 Zeilen geändert, schlägt die Wiederherstellung fehl. Versionshistorie, eine für das Team benannte freigegebene Testbasis und Wiederherstellbarkeit sind unterschiedliche Zusagen, die sich nicht mit „Versionskontrolle vorhanden“ zusammenfassen lassen.

Werden beispielsweise zunächst 20 Erstattungsfälle freigegeben und danach 5 Grenzfälle ergänzt, beweisen 18/20 im alten und 22/25 im neuen Experiment nicht unmittelbar eine Verschlechterung oder Verbesserung des Modells. Alte und neue Konfiguration sollten auf derselben freigegebenen Version erneut ausgeführt werden; neue Beispiele sind gesondert zu erläutern. Die Evaluierungsanbindung von Braintrust unterstützt das Laden nach Version oder benannter Version; Umgebungen sind mit Snapshots verknüpft. Auch bei bequem aufrufbaren Umgebungsnamen muss die tatsächliche Version aufgelöst und dokumentiert werden, damit eine spätere Änderung des Verweisziels die Grundlage nicht verschiebt.

Die Experiment-API von Phoenix trennt dataset, task und evaluators und unterstützt die erneute Bewertung abgeschlossener Experimente. Eval von Braintrust unterscheidet ebenfalls Daten, Aufgabe und Bewertungsfunktionen. Alte Ausgaben neu zu bewerten und die Anwendung neu aufzurufen sind zwei verschiedene Experimente. Bei der Übergabe müssen neben der Datenversion auch Anwendungscode, Prompts, Modell und Anbieter, Sampling-Parameter, Werkzeug- oder Wissens-Snapshots sowie Bewertungsregeln und Bewertungsmodell dokumentiert werden. Wiederholungsläufe mit externen Schnittstellen gehören in eine kontrollierte Testumgebung; Erstattungsfälle dürfen nicht erneut echte Aktionen auslösen.

Diese Aufzeichnungen pflegt die Engineering-Verantwortung; die Fachverantwortung genehmigt expected und die Bewertungsmaßstäbe. Vollständige Konfigurationen verringern das Risiko, unterschiedliche Dinge miteinander zu vergleichen, garantieren aber nicht, dass ein entfernt betriebenes Modell jedes Mal dieselbe Antwort liefert. Im Review sollten Änderungen und Fehlerursachen jedes Beispiels betrachtet werden, nicht nur die Gesamtpunktzahl.

Zusammenarbeit zusammen mit Budget und Zugriffsrechten umsetzen

Die Self-Hosting-Dokumentation von Phoenix bietet eine kostenlose Bereitstellung. Server, Upgrades, Backups und Modellaufrufe muss dennoch jemand tragen. Die aktuelle Lizenz ist die Elastic License 2.0. Sie enthält Einschränkungen für das Angebot gehosteter oder verwalteter Dienste an Dritte; Phoenix sollte daher nicht pauschal als OSI-Open-Source bezeichnet werden. Die Berechtigungsdokumentation nennt admin, member und viewer und verweist für SAML SSO und mehrstufiges RBAC auf Arize AX. Diese Enterprise-Funktionen von AX dürfen Phoenix nicht zugerechnet werden.

Laut den aktuellen Preisen von Braintrust kostet Starter 0 US-Dollar pro Monat und enthält pro Projekt nur 1 Bewertungsfeld für manuelle Reviews. Pro kostet 249 US-Dollar pro Monat und bietet unbegrenzte manuelle Bewertungsfelder sowie grundlegendes RBAC. Für verarbeitete Daten und automatische Bewertungen gelten zusätzlich Nutzungskontingente und Überschreitungsgebühren; Modellkosten müssen gesondert geprüft werden. Aus unbegrenzten Nutzer-, Datensatz- und Experimentzahlen darf nicht auf unbegrenzte Review-Abläufe oder Betriebskosten geschlossen werden.

Auch bei der Bereitstellung sind die Leistungsgrenzen zu unterscheiden. Laut den Bereitstellungshinweisen von Braintrust betreibt bei BYOC der Anbieter die Datenebene im Cloud-Konto des Kunden. UI, Authentifizierung und leichtgewichtige Metadaten werden weiterhin vom Anbieter verwaltet; aktivierte Funktionen können weiterhin externe Modelle aufrufen. Die offizielle Produktbeschreibung führt BYOC und die selbst gehostete Datenebene als Enterprise-Optionen auf. „In der eigenen Cloud“ bedeutet deshalb weder, dass die gesamte Plattform offline läuft, noch, dass Sicherheitsanforderungen automatisch erfüllt sind.

Nehmen Sie bei der Auswahl einen bereinigten Fehlerdatensatz, lassen Sie Fachkollegen die Annotation und die Entscheidung bei Uneinigkeit abschließen und anschließend eine andere Person im Engineering das Experiment mit einer festen Version wiederholen. Liegt die größte Hürde bei Bereitstellung und Experimentkontrolle und kann das Team die Wartung übernehmen, testen Sie zuerst Phoenix. Liegt sie bei der Review-Zuweisung, Ergebnissen mehrerer Prüfender und der Übergabe einer freigegebenen Testbasis, prüfen Sie zuerst Braintrust und den passenden kostenpflichtigen Tarif. Entscheidend für die Abnahme ist, ob die nächste Person den Fall erklären und erneut ausführen kann, nicht ob das Dashboard bereits einen Wert zeigt.

Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.

Originalquelle:arize.com