Unstructured Transform vs. LlamaParse: Lassen sich Zahlen aus Antworten zu Geschäftsberichten bis zur Originaltabelle zurückverfolgen?
Teams mit einer bestehenden elementbasierten Datenübernahme können zuerst Transform prüfen; wer Daten aus seitenübergreifenden Tabellen und präzise Positionsangaben benötigt, kann mit LlamaParse beginnen. Vergleichen Sie Ausgabeverträge, Beziehungen zu Quellseiten und Prüfsignale, statt erfolgreiches Parsing oder einen hohen Wert als Beleg für eine korrekte Antwort zu behandeln.
Wenn ein Rechercheassistent aus einem Geschäftsbericht die Frage „Wie hoch ist der Umsatz dieser Region?“ beantwortet, müssen Kollegen anschließend zur Originaltabelle zurückklicken können, um die Zahl zu prüfen. Sowohl Unstructured Transform als auch LlamaParse können komplexe Dokumente für die nachgelagerte Informationssuche aufbereiten. Wer bei der Beschaffung nur vergleicht, wie ordentlich das Markdown aussieht, übersieht jedoch diesen Schritt. Teams, die Inhalte bereits elementweise übernehmen, können zuerst die Elemente, Seitenzahlen und Angaben zu fehlgeschlagenen Seiten von Transform prüfen. Teams, die seitenübergreifende Tabellen an eine Datenanalyse weitergeben oder einzelne Zellen lokalisieren müssen, können vorrangig die Tabellenausgabe von LlamaParse evaluieren. Diese Auswahlhilfe beruht auf der offiziellen Schnittstellendokumentation und ist keine praktisch ermittelte Rangliste der Erkennungsgenauigkeit beider Produkte.
Zuerst klären, zu welcher Seite die Antwort zurückführen muss
Transform verwendet derzeit die Schnittstelle v2 Parse und gibt standardmäßig Markdown aus. Laut offizieller Dokumentation lassen sich bei einer ausdrücklichen Anforderung von elements der Typ, der Text und metadata.page_number jedes Elements auslesen; im entsprechenden Beispiel ist markdown dann null. Eine Standardanfrage anzubinden und anschließend automatisch einen vollständigen Satz von Elementdaten zu erwarten, kann daher dem Antwortvertrag widersprechen. Wenn die bestehende Vektordatenbank Absätze oder Tabellenelemente als Einheiten übernimmt, sollten zuerst die Beziehungen zwischen Originaldateikennung, Seitenzahl und Element erhalten bleiben, bevor Segmentierung und Embeddings verarbeitet werden.
Auch Positionsangaben sind nicht immer vorhanden. Die Koordinaten von Transform-Elementen können fehlen oder null sein; bei seitenübergreifenden Elementen können sie aus mehreren Rechtecken bestehen, die jeweils eine Seitenzahl enthalten. Die Oberfläche für Quellenverweise sollte bei vorhandenen Koordinaten die Fundstelle hervorheben und andernfalls auf die Originalseite zurückfallen, statt eine Position zu erfinden, um die Oberfläche zu vervollständigen. Dieses Rückfallverhalten gehört in die Abnahmetests bei der Beschaffung.
LlamaParse liefert mit expand=items einen in Lesereihenfolge angeordneten Baum von Seitenelementen einschließlich Seitenzahlen und Seitengrößen. Tabellen, Text, Bilder und andere Elementtypen haben unterschiedliche Felder. Begrenzungsrahmen verwenden Seitenpunkte, keine Pixel und keine normalisierten Koordinaten; einzelne Seiten eines Dokuments können unterschiedlich groß sein. Wenn das Team Belegstellen auf Screenshots einzeichnen möchte, muss es die Koordinaten anhand der jeweiligen Seitengröße umrechnen, statt Schnittstellenkoordinaten direkt als Bildpixel zu behandeln. Auch bbox darf null sein. Die Anwendung muss die vollständige Verweiskette daher weiterhin selbst speichern und prüfen.
Bei seitenübergreifenden Tabellen reicht der erste Screenshot nicht
Stellen Sie sich eine Umsatztabelle über zwei Seiten vor: Auf der ersten stehen die Überschriften für Regionen und Jahre, auf der zweiten folgen weitere Datenzeilen. Leser benötigen den Wert einer Zeile samt Jahr, Währung und Quelle, nicht lediglich einen Textblock, der wie eine Tabelle aussieht. Für die Abnahme sollten Originaldateien mit zusammengeführten Kopfzellen, fortgesetzten Tabellen und Fußnoten verwendet werden. Zu prüfen ist, ob die Überschriften weiterhin zu den richtigen Spalten gehören und ob die Antwort die Seite findet, die den Wert tatsächlich enthält. Das ist ein vorgeschlagenes Testszenario, kein bereits erzieltes Testergebnis.
Die Tabellendokumentation von LlamaParse bietet Ausgaben wie rows, CSV und HTML; HTML kann verbundene Zellen darstellen, Markdown-Tabellen mit senkrechten Trennstrichen dagegen nicht. Bei aktiviertem merge_continued_tables werden fortgesetzte Tabellen auf der Anfangsseite zusammengeführt. Über merged_from_pages und merged_into_page lassen sich die Zusammenführungsbeziehungen erhalten. Das ist für Teams nützlich, die Tabellen an Analyseprogramme weitergeben. Speichert die Anwendung jedoch nur die erste Seite, auf der die zusammengeführte Tabelle liegt, können Angaben zu den Quellseiten verloren gehen. Die Formatwahl und das Speichern der Beziehungen zwischen den Seitenzahlen sollten als eine gemeinsame Integrationsentscheidung behandelt werden.
Bei Transform empfiehlt sich zunächst die Prüfung anhand der bestehenden Elementverarbeitung: Erfüllen die tatsächlich ausgegebenen Table-Elemente, Seitenzahlen und seitenübergreifenden Koordinaten die Anforderungen nachgelagerter Systeme an Datenübernahme und Quellenverweise? Beispiele aus der älteren partition-Bibliothek dürfen nicht ohne Weiteres als Antworten des aktuellen Transform gelten. Ebenso wenig sollte man annehmen, dass die eigenen zusammengeführten Tabellenköpfe korrekt verarbeitet werden, nur weil eine Marketingseite Tabellenfunktionen nennt. Werden letztlich vollständige Zeilen- und Spaltendaten oder präzise Hervorhebungen benötigt, ist die tatsächliche Antwort anhand derselben Stichprobe zu prüfen, statt lediglich festzustellen, dass die zurückgegebene Zeichenfolge nicht leer ist.
Qualitätssignale gehören in die Prüfwarteschlange
Auch ein Transform-Ergebnis mit dem Status completed kann unlesbare Seiten auslassen oder Seiten enthalten, die nicht vollständig erkannt wurden. Die offizielle Dokumentation fordert Aufrufer auf, failed_pages, degraded_pages und warnings zu prüfen. Parse_confidence eines Elements misst die Übereinstimmung zwischen seinem Text und dem OCR-Text, nicht die „Wahrscheinlichkeit, dass der Inhalt korrekt ist“. Null bedeutet nicht verfügbar und ist kein Wert von null Punkten. Teams können damit Prüfungen planen, sollten einen hohen Wert aber nicht unmittelbar als Bestätigung einer geschäftlichen Tatsache anzeigen.
Parse_concerns für Tabellen in LlamaParse weist auf Probleme wie ungewöhnliche Zeilen- oder Spaltenzahlen und Unstimmigkeiten zwischen Überschriften und Werttypen hin. Die offizielle Dokumentation stellt zugleich klar, dass Markierungen Prüfsignale sind: Eine Markierung beweist keinen Tabellenfehler, und fehlende Markierungen garantieren keine Korrektheit. In der Seitenausgabe ist außerdem success zu prüfen. Beide Produkte liefern Informationen, die in einen Prüfprozess einfließen können, ersetzen aber nicht den Abgleich mit dem Original. Bei wichtigen Beträgen oder Mengen sollten die Parsing-Ergebnisse weiterhin den jeweiligen Quellseiten zugeordnet und mit ihnen verglichen werden.
Pilotprojekte mit beiden Produkten sollten deshalb dieselben Ergebnisse liefern: durchsuchbare Inhalte, Beziehungen zwischen Originaldateien und Quellseiten, Abschnitte für die menschliche Prüfung sowie eine Liste ausgelassener Seiten. Prüfen Sie zuerst Transform, wenn bereits ein elementbasierter Vertrag zur Datenübernahme besteht und weiterverwendet werden soll. Prüfen Sie zuerst LlamaParse, wenn das Datenformat seitenübergreifender Tabellen und eine feingranulare Lokalisierung zu den Kernanforderungen gehören. Entscheidend ist am Ende, mit welcher Ausgabe das Team weniger Belege verliert und wie viel Anpassungs- und Prüfaufwand entsteht, statt die Vertrauenswürdigkeit einer gesamten Antwort durch einen einzigen Konfidenzwert zu ersetzen.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:docs.unstructured.io