Ragas und TruLens: Fehlt eine Klausel im Retrieval, oder verweist die Antwort auf den falschen Beleg?
Ragas eignet sich eher dafür, mit Referenzantworten zu prüfen, ob beim Retrieval notwendige Fakten fehlen; TruLens eher dafür, entlang der Anfrage Schritte mit verlorenen Belegen und falschen Quellenverweisen zu finden. Bei der Auswahl müssen Recall, Faktentreue und Quellenzuordnung getrennt und der tatsächlich vom Modell gesehene Kontext gespeichert werden.
Nachdem eine Wissensdatenbank für den Kundendienst das Retrieval von fünf auf drei Textabschnitte reduziert hat, werden Antworten zu Erstattungen kürzer, lassen aber die geltenden Bedingungen aus. Hat das Retrieval die Klauseln nicht gefunden, oder hat das Modell sie erhalten und dennoch falsch formuliert oder zitiert? Wer nur die Gesamtbewertung der fertigen Antwort betrachtet, weist die Behebung oft der falschen Person zu.
Wenn Referenzantworten vorliegen und Retrieval-Konfigurationen verglichen werden sollen, sollte Ragas zuerst geprüft werden. Wenn nachvollzogen werden muss, in welchem Schritt einer Anfrage Belege verschwinden, oder wohin Zitate verweisen, sollte TruLens zuerst geprüft werden. Diese Auswahl beruht nicht auf einer Rangliste aus eigenen Tests. Beide gehen inzwischen über reine RAG-Evaluierung hinaus: Die Ragas-Dokumentation umfasst Agenten- und Workflow-Evaluierung, TruLens positioniert sich für Agenten-Evaluierung und Tracing.
Zuerst klären, ob Belege fehlen oder falsch genutzt werden
ContextRecall von Ragas erhält die Frage user_input, die abgerufenen Textabschnitte retrieved_contexts und die Referenzantwort reference. Ein Bewertungsmodell beurteilt, ob die Fakten der Referenzantwort durch die Abschnitte abgedeckt werden. Der Wert ist der Anteil abgedeckter Fakten; höher ist besser. Damit lässt sich prüfen: „Wurden alle notwendigen Bedingungen gefunden?“ Der Aufwand besteht darin, dass jemand vertrauenswürdige Referenzantworten pflegen muss. Fehlt darin eine Ausnahme, erkennt auch der Recall-Wert diese Lücke nicht.
ContextPrecision betrachtet dagegen, ob nützliche Abschnitte weit vorne stehen. Auch die aktuelle collections API kann dafür Frage, Abschnitte und Referenzantwort bewerten. Ohne Referenzantwort nutzt ContextUtilization die generierte Antwort, um den Nutzen der Abschnitte zu beurteilen; das darf nicht mit der Abdeckung einer bekanntermaßen richtigen Antwort gleichgesetzt werden. Relevanz, Rangfolge und Recall sind unterschiedliche Fragen. Auch drei relevante Abschnitte können gerade die Ausnahme zur Erstattung auslassen.
Die RAG triad von TruLens prüft getrennt die Relevanz der Abschnitte für die Frage, die Übereinstimmung der Antwort mit den Belegen und ob die Antwort die Frage trifft. Keine der drei Prüfungen benötigt eine Referenzantwort; das eignet sich zur ersten Prüfung unannotierter Anfragen. Hohe Relevanz beweist aber nicht, dass eine nicht gefundene Klausel nicht existiert. TruLens bietet auch einen Retrieval-Evaluierungsablauf, der mit Referenzabschnitten Recall und NDCG berechnet. Die beiden Werkzeuge lassen sich daher nicht strikt in „mit Referenz“ und „ohne Referenz“ aufteilen.
Eine belegte Antwort hat nicht automatisch korrekte Quellenverweise
Faithfulness von Ragas erhält Frage, Antwort und abgerufene Abschnitte, benötigt aber keine Referenzantwort. Die Metrik zerlegt die Antwort in Fakten und berechnet den Anteil, der durch die Abschnitte gestützt wird. Der Wertebereich ist 0–1; höher ist besser. Auch groundedness von TruLens prüft, ob Aussagen der Antwort im bereitgestellten Kontext belegt sind. Keine dieser beiden Metrikarten beweist allein, dass die Antwort vollständig oder die Wissensdatenbank selbst korrekt ist.
Ein unauffälligerer Fehler: Die Erstattungsfrist steht tatsächlich im zweiten Abschnitt, die Antwort verweist aber auf den ersten. Da die Gesamtheit der Belege den Satz stützt, kann die Konsistenzbewertung weiterhin gut ausfallen. Die Zitatvorlagen von TruLens unterscheiden ausdrücklich zwei Prüfungen: CitationAttribution gleicht explizite [N]-Markierungen mit nummerierten Abschnitten ab. Ein falscher Verweis fällt durch, Aussagen ohne Markierung werden jedoch nicht bestraft. CitationAccuracy unterstützt breitere Zitierformate, bewertet auf einer Skala von 0–3 und erfasst auch fehlende, eigentlich erforderliche Zitate als Problem. Die Rohwerte dieser Skala dürfen nicht direkt von 0–1-Werten abgezogen werden.
Wenn der Kundendienst Quellenlinks anzeigt, reicht es daher nicht, nur eine Metrik für „Faktentreue“ einzukaufen. Teams mit Ragas müssen die Prüfung der Verweisziele zusätzlich definieren; auch bei TruLens müssen sie die passende Vorlage auswählen und die Zuordnung zwischen Nummern und Originalabschnitten speichern. Keines der Werkzeuge entscheidet für den Fachbereich, welche Sätze eine Quellenangabe benötigen.
Verantwortlichkeiten anhand eines überprüfbaren Datensatzes trennen
Das Folgende ist ein vorgeschlagenes Evaluierungsdesign, kein Ergebnis eines bereits durchgeführten Tests. Bereiten Sie 30 manuell bestätigte Fragen zu Erstattungen vor, die reguläre Erstattungen, Ausnahmen und Fälle ohne Antwort in der Wissensdatenbank abdecken. Speichern Sie je Datensatz Frage-ID, Version des Originaltexts, Referenzantwort und erforderliche Belegabschnitte. Speichern Sie für jeden Lauf zusätzlich die geordnete Retrieval-Liste, den tatsächlich an das Modell übergebenen Kontext, die vollständige Antwort, die Quellenzuordnung und die Konfigurationsversion.
Ein Beispiel lautet: „Mein Jahresplan ist seit 10 Tagen aktiviert und ich habe den Dienst bereits genutzt. Ist noch eine volle Erstattung möglich?“ Die selbst erstellten Testklauseln lauten: [1] Innerhalb von 14 Tagen nach Aktivierung kann eine Erstattung beantragt werden; [2] Nach Nutzung des Dienstes ist eine volle Erstattung ausgeschlossen. Die Referenzantwort muss beide Klauseln und ihren Zusammenhang enthalten. Dies ist ein synthetisches Geschäftsbeispiel und keine Erstattungsrichtlinie eines Unternehmens.
Halten Sie den Wissensdatenbank-Snapshot, das generierende Modell und den Prompt konstant und ändern Sie lediglich Retrieval-top-k von 5 auf 3. Geben Sie zunächst die beiden tatsächlich verwendeten Kontextgruppen an ContextRecall von Ragas und prüfen Sie danach Faithfulness. Bei TruLens wird jeder Abschnitt auf Relevanz geprüft, die Gesamtheit des Kontexts zusammen mit der Antwort auf groundedness und zusätzlich werden die Quellenverweise geprüft. Die Selector-Dokumentation erläutert, dass die Prüfung einzelner Abschnitte und die Zusammenführung des Kontexts unterschiedliche Auswahlmöglichkeiten sind. Folgen auf das Retrieval noch Reranking, Filterung oder Kürzung, müssen diese Schritte dokumentiert werden. Kandidatenabschnitte, die das Modell nie gesehen hat, dürfen nicht als seine Belege gelten.
Dieser Datensatz ermöglicht mindestens vier unterschiedliche Maßnahmen: Fehlt Klausel zwei bereits in der Kandidatenliste, ist das Retrieval zu prüfen. Ist sie unter den Kandidaten, fehlt aber im Modellkontext, ist die Kontextzusammenstellung zu prüfen. Sieht das Modell beide Klauseln und verspricht dennoch eine volle Erstattung, ist die Generierung zu prüfen. Ist die Antwort richtig, verweist aber auf die falsche Nummer, ist die Quellenzuordnung zu prüfen. Ist der Originaltext der Wissensdatenbank veraltet, liegt die Aufgabe bei den Inhaltsverantwortlichen; ein anderes Bewertungsmodell behebt das nicht.
Vor dem Wertevergleich Bewertungsmodell und Maßstäbe festlegen
Die LLM-Metriken beider Anbieter hängen vom Bewertungsmodell ab. Die Metrikbeispiele von Ragas übergeben dieses Modell ausdrücklich; auch die Provider-Konfiguration von TruLens erlaubt die Modellauswahl. Fixieren Sie beim Vergleich dieselbe verfügbare Version des Bewertungsmodells, dieselbe Temperatur und denselben Eingabetext und dokumentieren Sie die jeweiligen Prompts, Metrikimplementierungen und Aggregationsverfahren. Selbst beim gleichen Modell entsprechen 0.8 unter unterschiedlichen Bewertungsrastern nicht demselben Maßstab.
Lassen Sie den Fachbereich die genannten Beispiele zunächst mit den Kategorien „Belege fehlen“, „Widerspruch zu Belegen“, „falscher Quellenverweis“ und „Antwort sollte verweigert werden“ versehen. Prüfen Sie dann, ob die automatische Evaluierung diese Fehler findet. Bewerten Sie Grenzfälle mehrfach und speichern Sie die Begründungen. Zählen Sie übersehene Fehler je Kategorie, statt riskante Zusagen in einem Durchschnittswert verschwinden zu lassen. Bei Beispielen ohne Antwort muss geprüft werden, ob die Antwort korrekt verweigert wird; eine erfundene Referenzantwort darf nicht erzwungen werden, um Recall zu berechnen.
Wenn der aktuelle Engpass darin liegt, nachzuweisen, dass ein neues Retrieval keine notwendigen Fakten auslässt, sind die referenzbasierten Metriken von Ragas direkter. Wenn dagegen die Zuständigen für Reranking, Kontextzusammenstellung und Generierung die Verantwortung hin- und herschieben, passen die Schrittauswahl und Zitatprüfungen von TruLens besser zur Diagnose. Ergänzen Sie zuerst den tatsächlichen Kontext und die Belegannotationen und wählen Sie dann das Werkzeug. Andernfalls können beide schöne Werte liefern, ohne zu beantworten, welcher Schritt repariert werden muss.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:docs.ragas.io