Crawl4AI und ScrapeGraphAI: Welche Produktkatalogfelder gehören zu Selektoren, welche zum Modell?
Bei stabilen Vorlagen sollten zuerst die Selektorregeln von Crawl4AI eingesetzt und semantische Felder anschließend dem Modell überlassen werden. Für unterschiedliche Vorlagen kann ScrapeGraphAI zuerst geprüft werden. Produktabdeckung, Feldbelege und Nullwerte müssen getrennt kontrolliert werden; ein Modell-schema ersetzt keine Faktenprüfung.
Wer im Produktbetrieb einen autorisiert zugänglichen öffentlichen Katalog in eine Tabelle überführt, fürchtet oft nicht fehlendes JSON, sondern Preise beim falschen Produkt, als lieferbar ausgewiesene ausverkaufte Artikel oder unvollständig durchlaufene Katalogseiten ohne Fehlermeldung. Crawl4AI und ScrapeGraphAI extrahieren beide strukturierte Daten. Die Auswahl sollte sich daran orientieren, wie Felder lokalisiert und belegt werden und wer nach Änderungen die Reparatur übernimmt.
Für große Kataloge mit derselben Vorlage sollte zuerst die Selektorextraktion von Crawl4AI geprüft werden; nur wenige semantische Felder gehen anschließend an ein Modell. Bei unterschiedlichen Vorlagen und Aufgaben, die überwiegend Textverständnis verlangen, kann zuerst der Prompt-und-schema-Weg von ScrapeGraphAI geprüft werden. Diese Einschätzung beruht auf. Die folgenden Beispiele sind ein Abnahmeentwurf, kein durchgeführter Erfassungstest. Behandelt werden ausschließlich öffentliche Inhalte, deren Erfassung erlaubt ist; Website-Erlaubnisse, robots-Regeln und Zugriffsratenlimits sind weiterhin einzuhalten.
Erst Produkte unterscheiden, dann Extraktionsmethoden vergleichen
Die Open-Source-Bibliothek Crawl4AI bietet CSS-, XPath- und LLM-Extraktion. Es gibt aber bereits einen offiziellen Cloud-Hosting-Dienst. Die Anbieter lassen sich deshalb nicht mehr als „lokales Werkzeug gegen Cloud-API“ zusammenfassen. Die Selektorkonfiguration dieses Artikels beruht auf der Bibliotheksdokumentation. Beim Cloud-Dienst muss gesondert geprüft werden, ob die Schnittstelle die benötigten Parameter bereitstellt; Bibliothekskonfigurationen dürfen nicht automatisch als unverändert nutzbar gelten.
Das Open-Source-Repository von ScrapeGraphAI unterscheidet das selbst betriebene scrapegraphai vom SDK für die gehostete API. Dessen SmartScraperGraph erhält einen Prompt und eine einzelne Seite als Quelle; Modell und Laufzeitumgebung konfiguriert das Team. Der Hosting-Dienst verwaltet dagegen Modelle und Browser. Der Name SmartScraper aus älteren Unterlagen darf nicht dazu verleiten, den Open-Source-Graphablauf mit der aktuellen API gleichzusetzen. Das aktuelle Extract erhält URL, HTML oder Markdown, einen Prompt und optional ein JSON schema und liefert strukturierte Ergebnisse.
Ein lokales Modell zu benötigen bedeutet daher nicht, nur Crawl4AI wählen zu können. Hosting zu benötigen bedeutet ebenso wenig, nur ScrapeGraphAI wählen zu können. Hilfreicher ist die Frage, ob das Team lieber Lokalisierungsregeln für jede Seitenart pflegt oder fortlaufend die Interpretation jedes Feldes durch das Modell überprüft.
Stabile Felder den Regeln überlassen, Interpretation dem Modell
Mit der Extraktion ohne LLM von Crawl4AI lässt sich ein Produktcontainer definieren, aus dem CSS oder XPath Titel, Attribute und verschachtelte Felder auslesen. Ein Modell kann auch zunächst ein Selektor-schema erzeugen, dessen Regeln dann wiederverwendet werden. Hier hilft das Modell beim Schreiben der Regeln und muss nicht bei jedem gelesenen Produkt aufgerufen werden. Das erzeugte Ergebnis muss dennoch manuell geprüft werden, insbesondere damit positionsbasierte Selektoren durch eingefügte Werbung nicht verrutschen.
Angenommen, der Katalog enthält Name, SKU, aktuellen Preis, Währung und Lieferhinweise. Liegen SKU und Preis stabil an derselben Stelle, werden die Rohtexte per Regel ausgelesen. Hinweise wie „Versand ungefähr zwei Wochen nach Vorbestellung“ kann anschließend das Modell in vereinbarte Felder überführen. Die LLM-Strategie von Crawl4AI unterstützt schema und Chunking und eignet sich für diese Interpretation, verursacht aber zusätzliche Modellnutzung und Ergebnisprüfungen. Routing, Zusammenführung und Fehlerbehandlung bei der Verkettung der beiden Strategien bleiben Aufgabe der Anwendung.
Bei ScrapeGraphAI bietet es sich eher an, zunächst das Ziel mit einem einheitlichen Prompt zu beschreiben und dann die Ausgabeform mit einem schema festzulegen. Bei unterschiedlichen Vorlagen kann das standortspezifische Lokalisierungsregeln reduzieren, erfordert aber klare Bedeutungen für „aktueller Preis“, „Ab-Preis“ und „durchgestrichener Preis“. Der Schema-Dienst erzeugt JSON-Ausgabebeschränkungen, keine CSS-Lokalisierungsregeln, und beweist nicht, dass ein Preis tatsächlich zum Zielprodukt gehört.
Eine Mischlösung verlangt keinen vollständigen Austausch des Crawlers. Das aktuelle Extract akzeptiert vorhandenes HTML oder Markdown, sodass autorisiert gespeicherte Produktausschnitte zur Interpretation übergeben werden können. Beim Ausschneiden müssen aber Preisbeschriftungen, Variantenangaben und Produktgrenzen erhalten bleiben. Nur einige Zahlen stehen zu lassen und das Modell ihre Beziehung erraten zu lassen reicht nicht. Ein Hosting-Aufruf überträgt Inhalte zudem an den Anbieter; dies muss von den Datenverarbeitungsfreigaben des Teams gedeckt sein.
Vollständige Produktabdeckung und korrekte Felder getrennt abnehmen
Das Deep Crawling von Crawl4AI bietet Kontrollen für Tiefe, Domain und Filter. Seiteninteraktionen können JavaScript ausführen, auf Inhalte warten und „Mehr laden“ bedienen. Links zu entdecken und die aktuelle Seite aufzuklappen sind unterschiedliche Arbeiten. Eine eingestellte Tiefe beweist nicht automatisch, dass alle Produkte paginierter Seiten erschienen sind.
Auch das gehostete Crawl von ScrapeGraphAI kann Links folgen, Seitenzahl, Tiefe und einzuschließende Pfade beschränken und den Aufgabenstatus asynchron zurückgeben. Für die tatsächlichen Seiteninhalte muss zusätzlich die paginierte Ergebnisschnittstelle gelesen werden. Cursor-Paginierung der API-Ergebnisse darf nicht mit der Seitennavigation des Produktkatalogs auf der Zielwebsite verwechselt werden. Dass die Open-Source-Bibliothek mehrere Quellen akzeptiert, entspricht auch nicht automatisch dem gesamten Funktionsumfang des gehosteten Crawl.
Bei der Abnahme sollten zuerst die erwarteten Produkt-URLs aufgelistet und anschließend der Extraktionsstatus jeder URL geprüft werden. 20 schöne Datensätze von der Startseite beweisen nicht, dass es auf einer weiteren Katalogseite keine Produkte gibt. Bei CAPTCHA, Zugriffsverweigerung oder unklarer Erlaubnis muss gestoppt und die Autorisierung geklärt werden. Das Umgehen von Beschränkungen ist kein Weg zur Datenvervollständigung.
Nullwerte, Herkunft und Aktualisierung eindeutig definieren
Empfohlen werden feste Geschäftsfelder name, sku, price, currency, availability sowie zusätzlich source_url, fetched_at und ein Belegausschnitt. Das ist eine Datenvereinbarung der Anwendung, kein von beiden Anbietern automatisch garantiertes Lieferformat. Quell-URL und Zeitstempel trägt das Erfassungsprogramm ein; das Modell darf sie nicht aus dem Gedächtnis ergänzen. Der Belegausschnitt muss im gespeicherten Seitenstand wortwörtlich auffindbar sein.
Fehlt der Preis, sollte null zulässig sein, wobei „auf der Originalseite nicht angegeben“, „Seite nicht vollständig geladen“ und „Extraktion fehlgeschlagen“ getrennt werden. Ein Pflichtfeld und ein zwingend numerischer Wert sind zwei verschiedene Anforderungen. Ein ausschließlich numerisches Preisfeld kann berechtigte Lücken in falsche Ergänzungen verwandeln. Leere Bestandsangaben dürfen auch nicht als ausverkauft interpretiert oder null zu einem Preis von null werden. Ein Selektor kann zuverlässig den falschen Bereich auslesen und ein Modell formal vollständig gültige, aber falsche Werte erzeugen. Nach der schema-Prüfung müssen deshalb noch Produktgrenzen und Originaltext kontrolliert werden.
Bei Aktualisierungen bleiben die alten verifizierten Datensätze erhalten, während neue Ergebnisse in einen Prüfbereich gelangen. Timeouts beim Seitenabruf können mit begrenzten Wiederholungen und Backoff behandelt werden. Feldkonflikte müssen mit Belegen zur manuellen Prüfung gehen, statt das Modell so oft zu fragen, bis eine gewünschte Antwort erscheint. Bleibt ein alter Preis sichtbar, muss dessen alter Erfassungszeitpunkt erkennbar sein. Der letzte Erfolg darf nicht als heutige Aktualisierung ausgegeben werden.
Mit einem kleinen Katalog über den Einsatz entscheiden
Bereiten Sie beispielsweise 30 autorisiert zugängliche Produktseiten aus 3 Vorlagen vor, jeweils 10 pro Vorlage. Enthalten sein sollten normale Verkaufspreise, reine Ab-Preise, fehlende Preise, ausverkaufte Produkte und störende Produktempfehlungen. Menschen markieren jedes Zielfeld und seine Originalstelle. Beide Lösungen erhalten dieselben Seitensnapshots und Ausgabevorgaben. Zunächst werden Regel- und Modellansatz getrennt ausgeführt; anschließend wird eine Mischlösung verglichen, die nur mehrdeutige Felder dem Modell überlässt.
Mindestens zu erfassen sind die Zahl abgedeckter erwarteter URLs, korrekt zugeordneter Produkte, korrekter nicht leerer Felder, fälschlich gefüllter eigentlich leerer Felder und die Gesamtkosten pro abgenommenem Datensatz. Produktübergreifend vertauschte Werte und erfundene Preise sind Sperrkriterien. Wie viele echte Lücken akzeptiert werden, legt die Fachverantwortung vorher fest. Ändern Sie anschließend eine Vorlage, lassen Sie einen Seitenabruf fehlschlagen und führen Sie denselben Snapshot wiederholt aus, um Alarme, Wiederholungen und Ausgabeunterschiede zu prüfen. Dies sind noch auszuführende Testschritte, keine bereits erreichten Werkzeugleistungen.
Bei wiederholten Aktualisierungen stabiler Vorlagen und vorhandener Regelpflege lohnt sich zuerst der regelbasierte Weg von Crawl4AI. Bei verstreuten Vorlagen, Feldern mit Interpretationsbedarf und einem Team, das Stichprobenprüfungen übernehmen kann, passt der modellbasierte Weg von ScrapeGraphAI besser. Die Kosten müssen Browser- oder Hosting-Nutzung, Modelle, Wiederholungsläufe und manuelle Reparaturen umfassen. „Open Source ist kostenlos“ oder ein einmal erfolgreiches JSON ersetzen kein Budget. Bietet der Kataloginhaber bereits einen autorisierten strukturierten Export, vergleichen Sie zuerst diesen Weg. Gekauft werden letztlich nachvollziehbare, reparierbare Produktdatensätze, nicht nur eine gelungene Extraktion.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:crawl4ai.com