Galileo und Maxim AI: Mit mehrstufigen Kundendiensttests den zu reparierenden Schritt finden

Fehlen Grenzfälle über mehrere Gesprächsrunden hinweg, sollte zuerst die Nutzersimulation von Maxim geprüft werden. Müssen bei vorhandenen fehlerhaften Sitzungen Werkzeugauswahl und Ausführung auseinandergehalten werden, sollte zuerst Galileo evaluiert werden. Bei der Auswahl sind Gesprächsende, Geschäftserfolg und Modellbewertung zu unterscheiden; Kosten müssen anhand vollständiger Gesprächsabläufe berechnet werden.

Quelle: docs.galileo.ai
November 15, 2026
7 min

Ein Kundendienstagent bestätigt zunächst die Bestellung, anschließend ändert der Nutzer seinen Wunsch in einen Umtausch, doch das Werkzeug meldet eine Zeitüberschreitung der Erstattungsschnittstelle. Selbst eine höfliche letzte Antwort kann Zustandsverlust, doppelte Übermittlung oder falsche Zusagen verdecken. Entscheidend bei einer Evaluierungsplattform ist, ob sie diesen mehrstufigen Ablauf rekonstruieren und den Fehler in eine beim nächsten Mal überprüfbare Reparaturaufgabe übersetzen kann.

Galileo passt eher zu Teams mit echten Gesprächen, die Probleme entlang von Werkzeugaufrufen lokalisieren und Bewertungen im Live-Betrieb konfigurieren müssen. Maxim AI passt eher zu Teams ohne ausreichende Grenzfälle, die simulierte Nutzer wiederholt nachfragen lassen wollen. Beide können Agenten evaluieren; der Unterschied liegt darin, welcher Arbeitsschritt zuerst ergänzt werden muss. Szenarien und Abnahmezahlen sind hypothetisch; Produkttests wurden nicht durchgeführt.

Zuerst entscheiden: Sitzungen beobachten oder neue Gesprächsabläufe erzeugen

Die Sitzungsstruktur von Galileo bündelt zusammengehörige traces in einer session und ermöglicht anschließend den Blick auf die spans der Werkzeugaufrufe samt Ein- und Ausgaben. Hat das Kundendienstteam bereits fehlgeschlagene Gespräche gesammelt, kann das Engineering damit untersuchen, in welcher Runde der Nutzer seinen Wunsch änderte und ob spätere Aufrufe weiter die alte Bestellung oder Absicht verwendeten. Bei der Anbindung müssen Datensätze desselben Gesprächs korrekt verknüpft werden. Nur die letzte Antwort erklärt den Zustand während des Gesprächs nicht.

Mit der Simulationsfunktion von Maxim lassen sich Szenarien, Nutzerprofile und die maximale Rundenzahl konfigurieren, damit KI weitere Nutzereingaben erzeugt. Simulationsläufe im Batch halten Szenarien und erwartete Schritte in Datensätzen fest und laufen gegen den HTTP endpoint eines Agenten. Das eignet sich für aktive Tests von Abläufen wie „zuerst keine Bestellnummer nennen, später nachreichen“ oder „von Erstattung zu Umtausch wechseln“. Simulierte Nutzer sind keine echten Kunden; die Erfolgsquote der Simulation ist nicht die Erfolgsquote im Live-Betrieb.

Das heißt nicht, dass Galileo keine Experimente oder synthetischen Daten bietet. Die Datensatzdokumentation unterstützt Experimenteingaben, erwartete Ausgaben und synthetische Beispiele. Testzeilen zu erzeugen ist aber nicht dasselbe wie ein Nutzer, der fortlaufend nachfragt. Die hier geprüfte Maxim-Dokumentation beschreibt dieses Verhalten und seine Abbruchbedingungen konkreter. Teams mit einem eigenen Simulator müssen ihr Evaluierungssystem nicht allein wegen eines zusätzlichen Einstiegspunkts wechseln.

Richtige Werkzeugwahl, erfolgreiche Ausführung und Gesprächsende getrennt abnehmen

Die Werkzeugtests von Maxim unterscheiden ausführbare APIs beziehungsweise Code von schema, die nur dem Auswahltest dienen. Im Playground können Werkzeugrückgaben zudem manuell geändert werden. Damit lassen sich Erfolg, Zeitüberschreitung und fachliche Ablehnung als drei Antworttypen vorbereiten. Daraus darf aber nicht geschlossen werden, dass die Plattform das echte Backend automatisch ersetzt. Für Batchtests muss das Team Rückgaben weiterhin in einer Sandbox-Schnittstelle oder Testadapterschicht festlegen und verhindern, dass simulierte Erstattungen echte Zahlungen auslösen.

Auch das Ende muss gesondert definiert werden. Benutzerdefinierte Simulationen erlauben die Festlegung von Simulationsmodell, Verhalten und Endbedingungen und ergänzen automatisch das Werkzeug end_simulation. Dieses beendet die simulierte Unterhaltung, bestätigt aber keinen Geschäftserfolg. „Korrekt an einen Menschen übergeben“, „Nutzer hat aufgegeben“, „Rundenlimit erreicht“ und „Geschäftsvorgang abgeschlossen“ sollten getrennt gespeichert werden. Nicht jedes Gesprächsende ist eine Problemlösung.

Tool Selection Quality von Galileo beurteilt, ob Werkzeug und Parameter geeignet sind; Tool Error beurteilt, ob bei der Ausführung ein Fehler aufgetreten ist. Beim ersten bedeutet true eine richtige Auswahl, beim zweiten bedeutet true einen erkannten Fehler. Vor der Aggregation müssen die Richtungen vereinheitlicht werden. Beide verwenden Modellurteile und ersetzen weder das Erstattungsbuch noch die Statuscodes der Schnittstelle.

Ist beispielsweise die Bestellabfrage richtig, aber die Schnittstelle läuft in ein Timeout, sind zuerst Wiederherstellung und Übergabe an Menschen zu verbessern. Ist die Schnittstelle erfolgreich, werden aber weiterhin alte Erstattungsanträge abgeschickt, sind Absichtsaktualisierung und Zustandsverwaltung zu prüfen. Wird ohne Erfolg „abgeschlossen“ gemeldet, ist zu prüfen, ob die Antwort an das Werkzeugergebnis gebunden ist. Das Engineering benötigt Absicht, Parameter, Rückgaben und Zustandsänderungen jeder Runde; die Fachverantwortung muss die zulässigen Ergebnisse bestätigen. Ein sinkender Gesamtwert kann nur eine Untersuchung auslösen, nicht allein entscheiden, ob der Prompt oder die Schnittstelle repariert werden muss.

Fehler aus dem Live-Betrieb ergänzen die Simulation, ersetzen lässt sich der Live-Betrieb damit nicht

Die Online-Evaluierung von Maxim unterscheidet session, trace und span: Ganze Gespräche dienen rundenübergreifenden Urteilen, einzelne Antworten der lokalen Qualität, und die Konfiguration auf span-Ebene erfolgt per SDK. Bei den Log-Stream-Metriken von Galileo lassen sich fertige oder benutzerdefinierte Bewertungen aktivieren und Stichproben pro Metrik konfigurieren. Bei beiden muss zuerst genügend Kontext angebunden und anschließend der Bewertungsumfang festgelegt werden.

Maxim kann Datensätze aus Logs und menschlichen Korrekturen zusammenstellen. Galileo bietet separate Felder generated_output, ground_truth und metric_ground_truth, um Anwendungsausgabe, erwartete Antwort und erwartete Bewertung zu trennen. Wenn Fehlerbeispiele zurückgeführt werden, sollte das Originalgespräch zur Diagnose erhalten bleiben; Auslöser und erwarteter Ablauf werden anschließend für Wiederholungsläufe herausgearbeitet. Die ursprüngliche falsche Ausgabe darf nicht zur richtigen Antwort erklärt werden. Ebenso wenig darf angenommen werden, dass ein Logimport den Backend-Zustand wiederherstellt.

Die manuelle Prüfung sollte sich auf Konflikte zwischen Modellbewertung und Werkzeugfakten, vorzeitige Abbrüche, geänderte Nutzerwünsche und riskante Zusagen konzentrieren. Erst wenn bestätigt ist, dass ein Fehler tatsächlich vom Agenten stammt, sollten passende Simulationsvarianten ergänzt werden. Wertet der Evaluator eine korrekte Übergabe an einen Menschen als Fehler, sind zuerst die Bewertungsregeln zu korrigieren. Der Agent darf nicht für einen hohen Wert zur weiteren Ausführung gedrängt werden. Auch schlecht bewertete Live-Beispiele werden durch Stichproben und die Verkehrszusammensetzung beeinflusst. Normale Gespräche sollten ebenfalls geprüft werden, damit nicht nur die Abläufe mit den meisten Beschwerden verbessert werden.

Budget anhand der Gesprächsabläufe berechnen, Laufzeitkontrolle gesondert betrachten

Eine hypothetische Vorauswahl könnte 20 Szenarien mit jeweils 3 Werkzeugrückgaben und 2 Wiederholungen umfassen: insgesamt 120 simulierte Gespräche mit jeweils höchstens 8 Runden. Maximal 960 Runden entsprechen nicht 960 Modellaufrufen. Hinzu kommen die Erzeugung des simulierten Nutzers, interne Agentenplanung, mehrere Evaluatoren und Wiederholungsversuche. Erfassen Sie dafür getrennt Tokens, Kosten, Werkzeugaufrufe, Gesprächsdauer und Zeit für manuelle Reviews und ergänzen Sie anwendbare Kosten wie Plattformabonnement und Logspeicherung. Aus der Gateway-Geschwindigkeit lassen sich die gesamten Evaluierungskosten nicht ableiten.

Insbesondere ist zu prüfen, auf welcher Ebene Stichproben wirken. Die Maxim-Dokumentation stellt klar: Sampling und Ratenbegrenzung gelten nur für Evaluierungen auf trace-Ebene; auf session-Ebene wird weiterhin jedes Gespräch bewertet. Tool Selection Quality von Galileo stellt mehrere Anfragen an das Bewertungsmodell und erhöht damit ebenfalls die Kosten. Eine Stichprobenquote von 10% erlaubt daher nicht, die gesamte Rechnung eines mehrstufigen Tests pauschal auf ein Zehntel zu schätzen.

Ebenso wichtig sind Produktgrenzen. Dieser Artikel behandelt Maxims Evaluierungs- und Simulationsprodukte. Bifrost ist dagegen ein Gateway für Modellzugriff und Governance; dessen Open-Source- oder kostenlose Bedingungen dürfen nicht auf den Evaluierungsdienst übertragen werden. Das aktuelle Agent Control von Galileo bietet zusätzlich Ein- und Ausgabekontrolle während der Workflow-Ausführung. Logs zu erfassen und zu bewerten bedeutet nicht, dass bereits eine Blockierung konfiguriert ist. Wird eine Sperre zur Laufzeit benötigt, müssen Kontrollanbindung, Auslöser, Fehlblockierungen und fachliche Abläufe nach einem Fehler gesondert geprüft werden.

Bei der Abnahme der genannten 120 Gespräche könnte gefordert werden, sämtliche unautorisierten Erstattungen und falschen Abschlusszusagen in die Blockierliste aufzunehmen. Gleichzeitig sollten die Anteile erfolgreicher Vorgänge, regelkonformer Übergaben an Menschen, Werkzeugfehler und Überschreitungen des Rundenlimits getrennt ausgewiesen werden. Halten Sie beim Vergleich vor und nach der Reparatur Szenarien, Werkzeugrückgaben, Agenten- und Simulatorkonfiguration sowie Bewertungsregeln konstant und lassen Sie strittige Fälle manuell prüfen. Die Schwellenwerte richten sich nach dem Geschäftsrisiko. Dies sind vorgeschlagene Abnahmemethoden, keine Ergebnisse, die die beiden Produkte bereits erreicht haben.

Lautet das aktuelle Problem „Wir haben nicht genügend schwierige Nutzer, um Änderungen über mehrere Runden zu testen“, probieren Sie zuerst Maxim. Lautet es „Wir haben viele schlechte Gespräche, können aber den fehlerhaften Schritt nicht bestimmen“, probieren Sie zuerst Galileo. Sind Geschäftserfolgszustände, isolierte Testschnittstellen und die Verknüpfung der Gesprächsdaten noch nicht etabliert, ergänzen Sie vor dem Einkauf diese Grundlagen. Ein wirklich nützliches Ergebnis ist ein Fall, der die fehlerhafte Runde aufzeigt, Werkzeugbedingungen reproduziert und die Wirksamkeit der Reparatur belegt, nicht nur ein höherer Durchschnittswert.

Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.

Originalquelle:docs.galileo.ai