Langfuse vs. LangSmith: Fehlerprotokolle am Monatsende zu finden bedeutet nicht, dass abgelaufene Daten gelöscht sind

Bei der Wahl einer Tracing-Plattform für monatliche Rückblicke sollten Zugriffsfenster, tatsächliche Löschung, Kopien von Evaluationsbeispielen und Abrechnungseinheiten getrennt verglichen werden. Langfuses historischer Zugriff und LangSmiths Aufbewahrungsstufen entsprechen unterschiedlichen Verwaltungsansätzen. Einen generell günstigeren Anbieter gibt es nicht.

Quelle: langfuse.com
November 2, 2026
5 min

Eine Anwendung antwortet nach dem Produktivstart gelegentlich falsch, und das Team möchte bei der Monatsauswertung die damaligen Eingaben, Modellausgaben und Werkzeugaufrufe wiederfinden. Bei der Wahl zwischen Langfuse und LangSmith liegt die größte Gefahr einer Fehleinschätzung nicht darin, wer ein Tracing-Dashboard bietet, sondern darin, was einen Monat später noch sichtbar ist und ob „nicht sichtbar“ bereits „gelöscht“ bedeutet. Wer ein längeres Fenster für regelmäßige Einsicht benötigt und gemeinsam mit mehreren Personen analysieren möchte, sollte zunächst Langfuse Cloud bewerten. Wer viele kurzlebige Debugging-Datensätze von wenigen länger aufbewahrten Beispielen trennen möchte, sollte die Aufbewahrungsstufen von LangSmith prüfen. Bei beiden müssen der Umgang mit sensiblen Feldern und der Löschumfang gesondert geplant werden. Er enthält keine praktischen Leistungstests der Integration.

Langfuse unterscheidet derzeit ausdrücklich zwischen data access und data retention. Hobby erlaubt den Zugriff auf 30 Tage Historie, Core auf 90 Tage und Pro sowie Enterprise auf 3 Jahre. Das Zugriffsfenster begrenzt die einsehbare Historie, löscht aber nicht automatisch ältere Daten. Für monatliche Rückblicke ist das 90-Tage-Fenster von Core größer als ein Fenster, das nur kurzfristiges Debugging abdeckt. Daraus lässt sich Kunden jedoch nicht zusichern, dass Daten nach 90 Tagen verschwinden. Wird eine automatische Löschung benötigt, müssen die Funktion Data Retention und die dafür geeigneten Tarife separat geprüft werden.

Die Preisseite von LangSmith nennt dagegen 14 Tage Aufbewahrung für base traces und 180 Tage für extended traces. Laut Verwaltungsdokumentation sind abgelaufene Traces weder über die Oberfläche noch per API zugänglich. Die zugehörigen Nutzereingaben und -ausgaben werden innerhalb des darauffolgenden Tages aus den internen Systemen gelöscht; bestimmte Analyse- und Abrechnungsmetadaten können jedoch erhalten bleiben. Teams, die Fehler erst am Monatsende gesammelt untersuchen, könnten nach 14 Tagen bereits wichtige Belege verloren haben. Welche Datensätze länger aufbewahrt werden müssen, sollte deshalb bei der Erfassung feststehen, nicht erst nach einer festgestellten Lücke am Monatsende durch einen nachträglichen Zukauf. Änderungen der aktuellen Regeln gelten nur für neue Datensätze. Ältere dürfen nicht pauschal anhand der neuen Einstellungen beurteilt werden.

Derselbe Monatsrückblick verlangt unterschiedliche Konfigurationen

Angenommen, ein Team aktualisiert seine Prompts wöchentlich und prüft am Monatsende schlecht beantwortete Fragen. Bei Langfuse kann es zunächst ein Zugriffsfenster wählen, das den Auswertungszyklus abdeckt, und anschließend die projektbezogene Löschfrist in Tagen festlegen. Bei LangSmith muss es gewöhnliche Debugging-Datensätze von solchen für längerfristige Vergleiche trennen. Im ersten Fall ist zu verhindern, dass Daten in der Oberfläche abgelaufen erscheinen, aber weiterhin gespeichert sind. Im zweiten darf die Aufbewahrung der ursprünglichen Datensätze nicht schon vor Beginn der Auswertung enden. Es geht um die Abstimmung von Arbeitsabläufen und Aufbewahrungsregeln, nicht darum, dass eine Plattform von sich aus datenschutzgerechter wäre.

Bei LangSmith gibt es ein weiteres Detail, das sowohl Kosten als auch Aufbewahrungsdauer verändern kann: Online-Evaluatoren oder Automatisierungsregeln mit aktivierter Aufbewahrungsverlängerung können passende base traces zu extended traces hochstufen. Laut aktueller Dokumentation ist diese Verlängerung bei neu angelegten Evaluatoren und Regeln standardmäßig aktiviert; bei der Konfiguration kann darauf verzichtet werden. Daraus folgt nicht, dass jede Bewertung, jedes Feedback oder jede Aufnahme in eine Warteschlange automatisch Mehrkosten auslöst. Vor dem Einrichten einer Qualitätsprüfung sollte zugleich geprüft werden, ob sie die Aufbewahrung verlängert. Anschließend lassen sich die Abrechnungszähler anhand einer kleinen Stichprobe kontrollieren.

Bei Langfuse steht Data Retention derzeit für Cloud Pro, Enterprise und die selbst gehostete Enterprise Edition bereit. Die Einstellung gilt pro Projekt. Es darf nicht vorausgesetzt werden, dass alle Projekte einer Organisation dieselbe Richtlinie geerbt haben. Laut offizieller Dokumentation löscht die projektbezogene Aufbewahrungsregel weder Audit-Logs noch Datensatzeinträge in Datasets. In Datasets gespeicherte Eingaben, erwartete Ausgaben und Metadaten bleiben bestehen. Auch LangSmith-Datasets haben ein langfristiges Aufbewahrungsverhalten, das unabhängig von Traces ist. Wird ein Produktionsdatensatz als Evaluationsbeispiel kopiert, bedeutet die Löschung des ursprünglichen Traces deshalb nicht, dass sämtliche Kopien verschwinden. Das Team sollte gesonderte Verantwortlichkeiten für Dataset-Zugriff und -Bereinigung festlegen.

Unterschiedliche Verbrauchseinheiten: 100.000 Einträge sind nicht automatisch 100.000 Gespräche

Langfuse Core kostet derzeit 29 US-Dollar monatlich und enthält 100.000 billable units. Die erste zusätzliche Verbrauchsstufe kostet 8 US-Dollar je 100.000 Units; die Nutzerzahl ist unbegrenzt. Zu den Units zählen Datenpunkte wie Traces, Observations innerhalb von Abläufen und Scores. Eine detailliertere Aufzeichnung derselben Anfrage oder zusätzliche Bewertungen können die Zahl der Einheiten erhöhen. LangSmith Plus kostet 39 US-Dollar pro Platz und Monat, enthält monatlich 10.000 base traces und rechnet darüber hinaus nach Verbrauch ab. Ein Trace kann mehrere Schritte einer Anwendungsausführung umfassen. Drei Mitglieder, die einen Platz benötigen, verursachen somit bereits 117 US-Dollar monatliche Grundgebühren für die Plätze, noch ohne Verbrauchs- oder weitere Servicegebühren.

Diese Zahlen zeigen nicht unmittelbar, wer günstiger ist. Zuerst sollten für dieselbe Menge an Anfragen die tatsächlich erzeugten Datenpunkte, Traces, länger aufbewahrten Datensätze und beteiligten Analysepersonen auf beiden Seiten erfasst werden. Danach lässt sich ein vollständiges Angebot einholen. Nutzt die automatische Evaluation Modelle, sind außerdem die entsprechenden Inferenzkosten zu prüfen. Ein bloßer Vergleich von „100.000 Units“ mit „10.000 Traces“ setzt unterschiedliche Einheiten mit derselben Kapazität gleich und übersieht die Kosten veränderter Aufbewahrungsregeln.

Verlangt die Organisation eine eigene Bereitstellung, bietet Langfuse offiziell einen Self-Hosting-Weg. Einige Zusatzfunktionen erfordern jedoch weiterhin eine Lizenz. Die Architektur umfasst Anwendung, Hintergrundverarbeitung und mehrere Speicherkomponenten. Wartungs- und Backup-Verantwortung verschwinden nicht aus dem Vergleich, nur weil Preise für Cloud-Abonnements genannt werden. LangSmith ordnet Self-Hosting und hybride Bereitstellung auf seiner Preisseite individuellen Enterprise-Angeboten zu. Verglichen werden sollten dann dieselben Aufbewahrungsanforderungen, Verwaltungsfunktionen und Betriebsleistungen, nicht ein Einstieg in eine Open-Source-Bereitstellung mit dem Preis eines vollständigen Enterprise-Vertrags.

Die Entscheidung kann abschließend anhand einer Ablaufprobe statt nur anhand einer Funktionsliste getroffen werden: Beispiel-Traces ohne echte Kundeninformationen anlegen, einen davon als Dataset-Eintrag kopieren, die benötigte Aufbewahrungsrichtlinie einstellen und das Verhalten von Oberfläche, API, Datasets und Audit-Einträgen getrennt prüfen. Benötigen mehrere Personen ein längeres gemeinsames Einsichtsfenster, sollten zuerst Langfuses Einheitenabrechnung und Zugriffsfenster kalkuliert werden. Liegt der Schwerpunkt auf vielen kurzfristigen Debugging-Datensätzen und wenigen verlängerten Traces, sollten zunächst LangSmiths Aufbewahrungsstufen geprüft werden. In die Beschaffungsbedingungen gehören der Auswertungszyklus, der Löschumfang und die Verantwortlichen, nicht nur der Satz „unterstützt Log-Aufbewahrung“.

Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.

Originalquelle:langfuse.com