Apify und Bright Data: Wer repariert den Crawler und prüft Änderungen, wenn die wöchentliche Stellenliste fehlerhaft ist?
Apify passt zu Teams, die Actor-Verantwortliche und Lieferabläufe selbst koordinieren wollen. Fertige Scraper APIs von Bright Data können die Wartungsverantwortung bündeln, ersetzen aber nicht die Abnahme des Wochenberichts. Vor der Auswahl sind Formatänderungen, fehlerhafte Quellen, doppelte Benachrichtigungen und der tatsächliche Abrechnungsumfang zu prüfen.
Bei einer jeden Montag gelieferten Übersicht über Stellenänderungen ist oft das schwierigste Problem: Die Datei kommt pünktlich, aber die Hälfte der Stellen fehlt. Hat das Unternehmen Anzeigen entfernt oder hat der Crawler Seiten übersehen? Apify nennt fertige Erfassungsprogramme Actor und bietet Ausführung, Zeitplanung und Speicherung. Bright Data verkauft zugleich fertige Scraper APIs, vorab erfasste Datensätze und Browser-Infrastruktur. Entscheidend ist, wer den Crawler repariert und wer nachweist, dass die Daten dieser Woche in den Bericht dürfen.
Will das Team Verantwortliche auswählen, Ein- und Ausgaben verwalten und eigene Abläufe behalten, sollte es zuerst Apify prüfen. Gibt es für die Zielwebsite bereits eine von Bright Data gepflegte Scraper API und passen Felder und Zustellung, eignet sich diese eher, um Reparaturen dem Anbieter zu überlassen. Eigene Tests wurden nicht durchgeführt. Er behandelt ausschließlich Unternehmen, Stellen, Regionen, Veröffentlichungsdatum und Quell-URL autorisiert erfassbarer öffentlicher Stellenangebote. Bewerberdaten werden nicht erfasst, Anmeldungen oder Zugriffsbeschränkungen nicht umgangen.
Reparaturverantwortung einem konkreten Produkt und Verantwortlichen zuordnen
Die Beschreibung der Actor-Entwickler von Apify unterscheidet offizielle, Community- und Partner-Actors. Für Aktualisierung und Reparatur offizieller Actors ist Apify zuständig, für Code und Wartung von Community-Versionen der jeweilige Entwickler. Auch Partner sind unabhängige Entwickler. Das Abzeichen ist keine pauschale Absicherung aller Actors durch die Plattform. Bei der Beschaffung sollten ausgewählter Actor, Verantwortlicher, Feldbeispiele und Kontaktweg für Probleme dokumentiert werden, nicht nur „Apify kaufen“.
Die Web-Scraper-API-Seite von Bright Data erklärt dagegen, dass der Anbieter die Crawler seiner Bibliothek selbst baut, testet und pflegt und automatische Reparatur bietet. Das bündelt die Wartung beim Anbieter. Eine Marketingseite beweist aber nicht, wie schnell eine bestimmte Stellenwebsite nach einem Umbau wieder funktioniert. Reaktionszeiten für Reparaturen und Benachrichtigungen über Feldänderungen sind weiterhin vertraglich zu klären.
Andere Produkte dürfen nicht in dieselbe Zusage einbezogen werden. Jobs Datasets verkauft bereits erfasste Stellendaten mit vereinbarbaren täglichen, wöchentlichen, monatlichen oder individuellen Aktualisierungen. Die Seite zeigt auch monatlich aktualisierte Pakete, weshalb die tatsächlich gekaufte Frequenz bestätigt werden muss. Das ist nicht gleichbedeutend mit einer wöchentlichen sofortigen Neuerfassung Ihrer vorgegebenen URLs. Browser API ist eine Remote-Browserschicht. Schreibt das Team die Extraktionslogik selbst, werden die Stellenfelder dadurch nicht vom Anbieter gepflegt. Für Websites außerhalb der fertigen Bibliothek unterscheidet Scraper Studio wiederum Selbstkonfiguration und verwalteten Dienst. Ob der laufende Betrieb abgegeben wird, hängt vom erworbenen Modell ab.
Ein erfolgreicher Zeitplan muss noch eine erfolgreiche Datenlieferung ergeben
Die Zeitplandokumentation von Apify unterstützt cron, Zeitzonen sowie Konfiguration von Eingabe, build und Timeout. Sie weist zugleich darauf hin, dass etwa Systemlast den Start verzögern kann. Ein Start montags um 8 Uhr bedeutet keinen abgenommenen Wochenbericht um 8 Uhr. Das Team sollte eine separate Lieferfrist festlegen und Lauf-ID, Zielumfang und Abschlussstatus erfassen.
Ein Dataset kann unter anderem JSON und CSV exportieren; Daten können nur angehängt werden. Unbenannte Datensätze laufen gewöhnlich nach 7 Tagen ab, benannte können langfristig aufbewahrt werden. Wartet eine wöchentliche Aufgabe bis zum nächsten Lauf, um die Vorwoche zu sichern, kann die Vergleichsbasis schon verloren sein. Snapshots sollten nach der aktuellen Abnahme archiviert werden. Append-only-Speicherung ist keine automatische wochenübergreifende Deduplizierung.
Die Webhook-Dokumentation erklärt, dass Antworten außerhalb von 2XX exponentiellen Backoff auslösen, der nach 11 Wiederholungen endet. Benachrichtigungen können gelegentlich doppelt ankommen. Das sind Wiederholungen der Zustellung, kein Nachweis, dass eine fehlgeschlagene Erfassung erneut erfolgreich beendet wurde. Empfänger sollten anhand der Lauf-ID doppelte Importe verhindern, zuerst dauerhaft speichern und dann bestätigen sowie Erfassungsfehler gesondert behandeln.
Bright Data Web Scraper API unterstützt unter anderem API- und Webhook-Zustellung. Auch hier ist der Dateieingang nur der Beginn der Abnahme. Bei beiden muss die Wochenberichtsverantwortung Felder, Quellenabdeckung und Zeitraum der aktuellen Woche prüfen. HTTP-Erfolg ersetzt keine vollständigen Stellendaten. Ein „abgeschlossen“-Ereignis darf auch nicht direkt die offizielle Vorwochentabelle überschreiben.
Bei Formatänderungen Aussagen über Differenzen zunächst aussetzen
Ein Beispiel: Das Regionsfeld war vorher ein String und ist nun ein Array, oder das Veröffentlichungsdatum ist plötzlich leer. Die Crawler-Verantwortung repariert die Ausgabe; die Berichtsverantwortung entscheidet über den Vergleich alter und neuer Werte. Diese beiden Aufgaben brauchen getrennte Zuständigkeiten. Die Scraper-Studio-FAQ von Bright Data erklärt ausdrücklich, dass nach Änderung des Ein- oder Ausgabeschemas eines verwalteten Crawlers Inkompatibilitätsfehler auftreten, solange der Code noch nicht angepasst ist. Dieser Beleg gilt nur für dieses Produkt und rechtfertigt keine Annahme gleicher Versionsabsicherung bei allen Scraper APIs.
Der Wochenbericht sollte eine Stellen-ID der Quelle oder normalisierte URL als Zuordnungshinweis erhalten und zusätzlich Erfassungszeit und Lauf-ID speichern. Ein fehlendes Veröffentlichungsdatum bleibt als fehlend markiert; das Erfassungsdatum darf es nicht ersetzen. Auch Quell-IDs und URLs können sich ändern. Nicht zuverlässig zuordenbare Einträge gehören in die manuelle Prüfung statt allein wegen identischer Stellentitel automatisch zusammengeführt zu werden.
Noch wichtiger ist ein Status „zu verifizieren“ für verschwundene Stellen. Erst wenn die entsprechende Quelle diese Woche erfolgreich erfasst wurde, der Zielumfang unverändert ist und die Originalseite nach Prüfung tatsächlich entfernt oder ausdrücklich geschlossen wurde, wird eine Entfernung gemeldet. Timeouts, leere Dateien und Feldanomalien gehen in die Fehlerliste. Erlauben die Zugriffsrechte keine weitere Prüfung, wird gestoppt und „nicht verifizierbar“ markiert. Dieses konservative Vorgehen verzögert manche Entfernungsstatistik, verhindert aber, dass technische Fehler als Einstellungsrückgang eines Unternehmens erscheinen.
Kosten bis zur Abnahme berechnen, nicht nur anhand gelieferter Zeilen
Apifys aktuelle Abrechnungsbeschreibung im Store nennt zwei Modelle: pro Ereignis und nach Ressourcenverbrauch. Ein Ereignis kann ein erzeugtes Ergebnis oder ein Actor-Start sein. Die meisten Ereignispreise enthalten Plattformressourcen, manche berechnen diese gesondert; auch spätere Dataset-Lese- und Schreibzugriffe können Kosten auslösen. Ein fehlgeschlagener Lauf ist nicht automatisch kostenlos. Maßgeblich sind abrechenbare Ereignisse, Ressourcen und bereits erzeugte Ergebnisse des konkreten Actor.
Die Preisseite der Web Scraper API von Bright Data erklärt, dass nur erfolgreiche Lieferungen berechnet werden und fehlgeschlagene nicht. Diese Aussage darf nicht auf Browser API, Datasets oder Studio ausgedehnt werden. Sie bedeutet auch nicht, dass jeder berechnete Datensatz die geschäftliche Abnahme besteht. Wiederholt gelieferte alte Stellen, leere Regionen oder spätere manuelle Überprüfung können weiterhin Teamkosten verursachen.
Angenommen, pro Woche werden 10,000 Datensätze abgerufen, bei 4 Läufen also 40,000 geliefert, darunter nur 2,000 neue Stellen. Das Budget muss zuerst nach dem konkreten Abrechnungsmodell für 40,000 Datensätze oder die entsprechenden Ereignisse und Ressourcen berechnet werden, nicht nach der Zahl neuer Stellen. Freikontingente, Ausnahmen für doppelte Datensätze und Wiederholungskosten müssen im Angebot des konkreten Produkts geprüft werden. Erst mit Archivierung, Umwandlung, Alarmierung und manueller Reparaturzeit lässt sich der Preis pro abgenommenem Wochenbericht vergleichen.
Mit zwei Wochen Abnahme über langfristige Verantwortung entscheiden
Ein noch nicht ausgeführter Abnahmetest könnte 3 autorisierte Quellen wählen und 2 Wochen lang die genannten 5 Geschäftsfelder sowie Laufinformationen speichern. In Woche zwei werden in eigenen Testkopien eine Änderung des Regionsformats, eine doppelte Benachrichtigung und eine fehlerhafte Quelle erzeugt. Die offizielle Tabelle darf nicht überschrieben, nichts doppelt importiert und nicht jede Stelle der fehlgeschlagenen Quelle als entfernt bewertet werden. Anschließend werden 20 neue oder geänderte Datensätze manuell geprüft.
Passt die Abdeckung fertiger Actors besser zum Geschäft und kann das Team Verantwortliche koordinieren und Ausnahmen behandeln, ist Apifys Kombinierbarkeit wertvoll. Deckt eine fertige Bright-Data-API die Ziele bereits ab und lassen sich Reparatur- und Liefergrenzen verbindlich klären, kann sie die Abhängigkeit von mehreren Crawler-Autoren verringern. Wird nur eine regelmäßige Aktualisierung des vorhandenen Stellenbestands des Anbieters benötigt, sind Umfang und Aktualisierungsvertrag von Datasets separat zu prüfen. Die endgültige Abnahmeverantwortung muss im Team klar bleiben: Eine Person repariert den Crawler, eine prüft die Unterschiede. So wird eine pünktlich eingegangene schlechte Datei nicht zur vermeintlichen Tatsache.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:docs.apify.com