Supportantworten mit AI21 Maestro: Das Ende des Denkprozesses bedeutet nicht, dass die Anforderungen erfüllt sind
Technische Supportteams können mit AI21 Maestro die Suche in Handbüchern und die Anforderungen an Antworten in einem Ablauf verbinden. Zuerst sollten sie jedoch die Dokumentversionen eingrenzen und anschließend jedes Prüfergebnis ansehen. Auch ein aufgebrauchtes Budget beendet den Lauf. Eine vollständig formulierte Antwort ist deshalb nicht automatisch versandfertig.
Erhält ein Supportingenieur einen Fehlercode, kostet häufig vor allem eines Zeit: die vom Kunden verwendete Produktversion zu klären und im passenden Handbuch die Erklärung zu finden. Werden dem Modell sämtliche alten Handbücher übergeben, kann eine flüssig formulierte Antwort den Prüfaufwand sogar erhöhen.
AI21 Maestro kann nach der Recherche von Unterlagen eine Antwort anhand von Anforderungen erstellen, prüfen und überarbeiten. Für Supportteams, die Dokumente mehrerer Versionen pflegen, ist ein belegter Antwortentwurf der sinnvollere Einstieg, statt die Kundenkommunikation direkt zu überlassen. Die folgende Analyse dieses Einsatzfalls beruht auf offizieller Dokumentation. Es wurden keine echten Tickets angebunden und die Genauigkeit von Antworten wurde nicht getestet.
Erst die Version eingrenzen, dann den Fehlercode bearbeiten
Angenommen, ein Kunde liefert nur einen Fehlercode und einen Screenshot der Oberfläche. Der Support ergänzt zunächst Produktname, Version und die Schritte, die das Problem ausgelöst haben, und wählt dann das entsprechende aktuelle Handbuch. Fehlt die Version, sind zunächst erzeugte Rückfragen hilfreicher, als das Modell aus mehreren Versionen eine Antwort erraten zu lassen.
Diese Auswahl hat in Maestro eine konkrete Wirkung: Laut der File-Search-Dokumentation von AI21 Studio werden alle Dateien durchsucht, wenn keine ausgewählt sind. Erst die Auswahl von Dokumenten grenzt die Suche ein. Keine Dateien auszuwählen bedeutet also nicht, „keine Dokumente zu verwenden“. Vor einem Test sollte das Team prüfen, ob alte Anleitungen, Entwürfe oder für das Ticket ungeeignete Unterlagen im Bestand liegen.
Das offizielle RAG-Beispiel für technischen Support kombiniert die Suche in Handbüchern mit Antwortanforderungen und verlangt, die Dokumente aktuell zu halten. Bei der Übertragung auf den eigenen Einsatzfall bleibt das Team für die Auswahl der Unterlagen und die Versionsprüfung verantwortlich. Dass das System ein Dokument finden kann, bedeutet nicht, dass es für den aktuellen Kunden gilt.
Der Entwurf muss Kunden und prüfende Personen unterstützen
Für dieses fiktive Ticket könnten die Ausgabeanforderungen lauten: das zugrunde liegende Handbuch nennen; bestätigte Informationen von Angaben trennen, die der Kunde noch ergänzen muss; Tätigkeiten, die Fachpersonal erfordern, nicht als Schritte darstellen, die Kunden selbst ausprobieren können; und abschließend sowohl eine verständliche Erklärung für den Kunden als auch noch zu prüfende Punkte für den Support liefern. Das sind vom Team formulierte Abnahmekriterien, keine Prüfungen, die Maestro standardmäßig für das Team übernimmt.
Im Beispiel von AI21 lassen sich Datenquellen ausdrücklich über data_sources zurückgeben. Das Validierungstutorial liefert die Ergebnisse der Anforderungsprüfung über requirements_result. Bei der Integration sollten Supportmitarbeitende sowohl die Quellen als auch die Prüfergebnisse erhalten, statt nur den abschließend geglätteten Text zu sehen.
Wer den Entwurf prüft, muss im Original die entscheidenden Schritte und ihre Anwendungsbedingungen nachlesen. Stammt ein Zitat zwar aus dem richtigen Handbuch, stützt aber die Schlussfolgerung des Entwurfs nicht, darf die Antwort dennoch nicht versendet werden. Eine vorhandene Quelle und eine begründete Schlussfolgerung sind zwei verschiedene Dinge. Eine vollständig wirkende Form allein erlaubt diese Unterscheidung nicht.
Ein aufgebrauchtes Budget ist ebenfalls ein Beendigungsgrund
Das Validierungstutorial von Maestro erklärt, dass die Schleife aus Erzeugung, Validierung und Überarbeitung endet, wenn die Anforderungen erfüllt sind oder das Budget aufgebraucht ist. „Ein Ergebnis wurde zurückgegeben“ heißt deshalb nicht „alle Anforderungen wurden bestanden“. Bei der Kontrolle sind Bewertungen, Begründungen und Beendigungsgrund einzeln zu betrachten. Insbesondere darf ein Gesamtwert keine Lücken bei Versionen oder Sicherheitsgrenzen verdecken.
Liegt das Problem an falsch ausgewählten Unterlagen oder unklaren Anforderungen, sollten zuerst Eingaben und Anforderungen überarbeitet werden. Erst wenn die Unterlagen stimmen und die Anforderungen klar sind, aber noch mehr Schlussfolgerungsarbeit nötig ist, lohnt sich ein Vergleich mit höherem budget. Laut offizieller Dokumentation ermöglicht ein höheres Budget zusätzliche Denk- und Validierungsprozesse, erhöht aber auch Latenz und Kosten. Es ergänzt fehlende Informationen nicht automatisch.
Ein praktikabler Test besteht darin, historische Tickets mit bereits vorliegenden menschlichen Schlussfolgerungen auszuwählen: Fälle mit eindeutiger Version, fehlender Version und widersprüchlichen Unterlagen. Erfasst werden sollte, ob der Entwurf korrekt zitiert, von sich aus offene Bestätigungspunkte benennt und wie viel Zeit Supportmitarbeitende für seine Korrektur benötigen. Dies ist ein Vorschlag für einen Abnahmetest, kein Ergebnis eines hier durchgeführten Tests.
Hat ein Team nur wenige, stabile Fragen und Antworten, können gut gepflegte feste Vorlagen einfacher sein. Müssen dagegen häufig mehrere Dokumente abgeglichen und Antworten für unterschiedliche Leser aufbereitet werden, lohnt es sich eher, Maestros Recherche und Anforderungsprüfung auszuprobieren. Bei der Entscheidung über die Einbindung in den Ticketprozess sollte zählen, ob der Prüfaufwand sinkt, nicht nur, ob die Antwort wie ein fertiges Schreiben aussieht.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:docs.ai21.com