Pydantic AI und DSPy: Bei der Extraktion aus Kundenmails zuerst Felder kontrollieren oder Entscheidungen optimieren?
Formal gültige Felder können die Kundenabsicht trotzdem falsch wiedergeben. Pydantic AI eignet sich zum Aufbau von Typprüfung, Wiederholungen und klaren Fehlerausgängen. DSPy eignet sich zur Optimierung des Extraktionsprogramms, sobald repräsentative Beispiele und Bewertungskriterien vorliegen. Annotation, Optimierungssuche und produktive Aufrufe gehören ebenfalls in den Vergleich.
Ein Kundenserviceteam übergibt eingehende Nachrichten an ein Modell und erwartet Bestellnummer, Anliegen, Betrag und Beleg aus dem Originaltext. Die eigentliche Schwierigkeit: Felder können in die Datenbank passen und dennoch die Kundenabsicht falsch verstehen. Pydantic AI eignet sich eher, zunächst überprüfbare Ausgabegrenzen einzurichten. DSPy eignet sich eher zur systematischen Optimierung des Extraktionsprogramms, wenn repräsentative Beispiele und Bewertungskriterien bestehen. Beide lassen sich kombinieren, und bei keinem beweist gültiges JSON die inhaltliche Richtigkeit.
Fehler zuerst in zwei Kategorien aufteilen
Angenommen, ein Kunde schreibt: „Bei den 299 Yuan für Bestellung A123 geht es nicht um eine Erstattung. Bitte erklären Sie zuerst die doppelte Abbuchung.“ Dies ist ein Analysebeispiel, kein Praxistest. Gibt das Ergebnis als Anliegen „Erstattung“ aus, ist die geschäftliche Bedeutung falsch, selbst wenn die Bestellnummer eine Zeichenfolge, der Betrag eine Zahl und der Typ ein zulässiger Enum-Wert ist.
Zunächst kann festgelegt werden, dass die Ausgabe Anliegen, Bestellnummer, Betrag, Währung, Belegauszug und fehlende Informationen umfasst. Eine fehlende Währung sollte leer bleiben dürfen. Auch ein Pflichtfeld für den Betrag rechtfertigt keine erfundene Zahl. Enthält eine Nachricht mehrere Anliegen, sollte vorab entschieden werden, ob eine Liste auszugeben ist. Diese Feldvereinbarung und die Annotationsregeln bilden den Ausgangspunkt für einen fairen Vergleich.
Pydantic AI: Annahmebedingungen eines Aufrufs klar festlegen
Pydantic AIs Ausgabedokumentation unterstützt die Definition von Ergebnissen über Pydantic-Modelle und andere Typen. Zu den Ausgabewegen gehören Werkzeugausgaben, native strukturierte Modellausgaben und promptbasierte Ausgaben. Der konkrete Weg hängt von den Modellfähigkeiten ab. Eine fehlgeschlagene Validierung kann Wiederholungen auslösen. Entwickler können außerdem eigene Ausgabevalidatoren schreiben und mit ModelRetry eine Korrektur durch das Modell anfordern. Wiederholungen haben ein Budget; unbegrenztes Wiederholen darf nicht als Erfolgsgarantie vorausgesetzt werden.
Bei Kundenmails lassen sich erlaubte Anliegen und Betragsbereiche als Bedingungen definieren. Zusätzlich kann geprüft werden, ob der Belegauszug tatsächlich in der Nachricht vorkommt. Diese Prüfung muss das Team implementieren; sie ist keine automatische Faktenprüfung des Frameworks. Selbst ein vorhandener Auszug kann die Modellschlussfolgerung nicht stützen. „Keine Erstattungsanfrage“ verlangt, dass Validierung oder Evaluation auch die Verneinung erfassen.
Dieser Weg passt deshalb zu Entwicklungsteams, die die akzeptierten Felder der nachgelagerten Systeme bereits kennen und klare Fehlerausgänge benötigen. Nach Überschreiten des Wiederholungslimits sollten Fehlergründe gespeichert und an den Kundenservice weitergegeben werden, statt unbemerkt Standardwerte einzusetzen. Wiederholungen und Validierung begrenzen die Schnittstelle, ersetzen aber keine Bewertung der Extraktionsqualität.
DSPy: Das Programm anhand geschäftlicher Bewertungen verbessern
Auch DSPy kann Strukturen deklarieren. Die Signature-Dokumentation beschreibt Ein- und Ausgabefelder sowie Typen. Zu den erweiterten Typen gehören auch Pydantic-Modelle. Ein Vergleich „Pydantic AI hat Typen, DSPy nicht“ wäre daher falsch.
Der Unterschied liegt in DSPys Optimierungsweg. Die offizielle Optimiererdokumentation nennt Programm, Bewertungsfunktion und Trainingseingaben als Kernmaterial. MIPROv2 untersucht beispielsweise Kombinationen aus Anweisungen und Few-Shot-Beispielen. Andere Optimierer können Gewichte feinabstimmen, aber Promptoptimierung darf nicht pauschal als Training eines neuen Modells bezeichnet werden. Manche Optimierungsabläufe können mit unbeschrifteten Eingaben beginnen. Das bedeutet nicht, dass ein Kundenserviceteam auf belastbare Abnahmekriterien verzichten kann.
Für diese Aufgabe sollten Fachkundige zuerst Nachrichten annotieren, die Grenzen zwischen „Erstattung“, „Nachfrage zur Abbuchung“ und „Bestellung ändern“ festlegen und daraus die Bewertung entwickeln. Bestellnummernabgleich, Anliegen, Betrag und Währung sowie die Belegstützung sollten getrennt geprüft werden. Werden Fehler in Schlüsselfeldern in einem Durchschnitt versteckt, belohnt das Programme, die dem Geschäft nicht entsprechen. Optimierung folgt dem vorgegebenen Ziel; sie entdeckt nicht selbstständig Regeln, die das Team vergessen hat.
Trainings- und Optimierungsbeispiele müssen von den endgültigen Abnahmebeispielen getrennt bleiben. Eine Aufteilung nach Kunde oder Unterhaltung hilft zu vermeiden, dass Umformulierungen derselben Nachricht auf beiden Seiten vorkommen. Fehlende Felder, Verneinungen, mehrere Bestellungen und mehrsprachige Nachrichten sollten ebenfalls enthalten sein. Ohne solche Datenvorbereitung erhöhen mehr Optimierungsrunden häufig nur die Ausgaben und rechtfertigen keine Behauptung höherer Genauigkeit.
Aufrufkosten berechnen und Produktebenen nicht verwechseln
Pydantic AI bezeichnet hier das Python-SDK. Pydantic AI Harness ist eine darauf aufbauende Bibliothek für komplexere Agentenaufgaben mit Dateien, Planung und Gedächtnis. Für einfache Feldextraktion aus Nachrichten muss deshalb kein vollständiger Langzeitagent eingeführt werden. Logfire dient Beobachtbarkeit und Debugging. Seine Dienstkosten oder Fähigkeiten dürfen nicht als Preis oder zwingende Voraussetzung des SDK selbst behandelt werden.
Auch DSPys Optimierer bezahlen keine Modellaufrufe für das Team. Im Budget sind gemeinsame produktive Inferenz sowie Betrieb und Wartung von zusätzlichen Wiederholungen, Annotation, Optimierungssuche, Evaluationsaufrufen und optionalen Beobachtungsdiensten zu trennen. Mehr Beispiele im Prompt können außerdem die Eingabetokens nach der Bereitstellung erhöhen. Eine höhere Bewertung während der Optimierung bedeutet nicht automatisch niedrigere Kosten pro Nachricht.
Werden beispielsweise 1.000 Nachrichten verarbeitet und bei 100 davon jeweils ein zusätzlicher Modellaufruf ausgelöst, entstehen dadurch 100 zusätzliche Aufrufe. Daraus lässt sich aber keine Kostenerhöhung von 10 % ableiten, weil Ein- und Ausgabelängen variieren können. Das ist ein Budgetbeispiel, keine Wiederholungsquote eines Produkts. DSPys Offline-Optimierungskosten sollten ebenfalls separat ausgewiesen und mit späteren Einsparungen oder Qualitätsgewinnen verglichen werden.
Mit denselben Nachrichten den nächsten Schritt bestimmen
Sind derzeit vor allem ungültige Felder und unbehandelte Fehler das Problem, bauen Sie zuerst mit Pydantic AI einen minimalen Extraktionsdienst mit klaren nullable-Feldern, Validierungsregeln und Fehlerzielen. Ist das Format bereits stabil, werden aber Anliegen häufig falsch verstanden und hat das Team annotierte Beispiele sowie Evaluationsverantwortliche, vergleichen Sie mit DSPy das nicht optimierte und das optimierte Programm anhand eines zurückgehaltenen Testdatensatzes.
DSPy kann auch das Extraktionsmodul optimieren, das anschließend in einen vorhandenen Typprüfungsdienst eingebunden wird. Das ist eine Entwurfsentscheidung mit Integrations- und Regressionstestbedarf, keine sofort einsatzbereite Garantie zweier Frameworks. Erfüllt ein einfacher Modellaufruf mit vorhandener Validierung die Anforderungen, müssen nicht gleichzeitig zwei Abstraktionen gepflegt werden.
Bei der Abnahme sind mindestens strukturelle Erfolgsquote, Richtigkeit der Schlüsselfelder, Anteil der Fehlerübergaben, gesamte Aufrufkosten pro Nachricht und Latenz getrennt zu betrachten. Diese Auswahlanalyse stützt sich auf offizielle Dokumente,; ein vergleichendes Genauigkeitsexperiment wurde nicht durchgeführt. Entscheidend ist, ob dem Team Ausgabekontrolle oder ein messbarer Weg zur semantischen Verbesserung fehlt, nicht welcher Frameworkname gerade beliebter ist.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:pydantic.dev