Crawl4AI et ScrapeGraphAI : quels champs du catalogue confier aux sélecteurs, lesquels au modèle ?
Pour des modèles de page stables, privilégiez les règles de sélection de Crawl4AI et réservez les champs sémantiques au modèle. Pour plusieurs structures de page, évaluez d’abord ScrapeGraphAI. Couverture des produits, preuves des champs et valeurs nulles doivent être vérifiées séparément ; un schema de modèle ne remplace pas la vérification des faits.
Quand les opérations produit transforment un catalogue public autorisé en tableau, le risque majeur n’est souvent pas l’absence de JSON, mais un prix attribué au mauvais produit, une rupture présentée comme disponible ou une pagination incomplète sans erreur signalée. Crawl4AI et ScrapeGraphAI extraient tous deux des données structurées. Le choix doit porter sur la localisation des champs, leurs preuves et la personne qui corrigera après un changement.
Pour un grand catalogue à structure de page unique, évaluez d’abord l’extraction par sélecteurs de Crawl4AI, puis confiez au modèle les quelques champs sémantiques. Pour des structures variées et des tâches reposant surtout sur la compréhension du texte, évaluez d’abord la voie prompt et schema de ScrapeGraphAI. Ce jugement repose sur des sources officielles vérifiées le 10 novembre 2026. Les exemples suivants constituent un protocole d’acceptation, sans collecte réellement testée. Seuls les contenus publics dont la collecte est autorisée sont concernés ; autorisations du site, règles robots et limites de fréquence restent à respecter.
Distinguer d’abord les produits, puis les méthodes d’extraction
La bibliothèque open source Crawl4AI propose extraction CSS, XPath et LLM, mais dispose déjà d’un service Cloud officiel. Les deux fournisseurs ne peuvent donc plus être résumés à « outil local contre API cloud ». Les configurations de sélecteurs de cet article viennent de la documentation de la bibliothèque. Pour le service cloud, vérifiez séparément que l’interface expose les paramètres nécessaires, sans supposer que les configurations de la bibliothèque sont directement réutilisables.
Le dépôt open source de ScrapeGraphAI distingue scrapegraphai exécuté par l’équipe du SDK de l’API hébergée. Le SmartScraperGraph du premier reçoit un prompt et une source monopage ; l’équipe configure modèle et environnement d’exécution. Le service hébergé gère les modèles et navigateurs. Le nom SmartScraper des anciens documents ne doit pas faire confondre le processus en graphe open source avec l’API actuelle. L’actuel Extract reçoit URL, HTML ou Markdown, un prompt et un JSON schema facultatif et renvoie un résultat structuré.
Avoir besoin d’un modèle local n’impose donc pas Crawl4AI, pas plus que le besoin d’hébergement n’impose ScrapeGraphAI. La question utile est de savoir si l’équipe préfère maintenir des règles de localisation pour chaque type de page ou vérifier continuellement l’interprétation de chaque champ par le modèle.
Garder les champs stables dans les règles et l’interprétation dans le modèle
L’extraction sans LLM de Crawl4AI permet de définir le conteneur d’un produit, puis d’extraire par CSS ou XPath son titre, ses attributs et ses champs imbriqués. Le modèle peut aussi générer d’abord un schema de sélecteurs réutilisable. Il aide alors à écrire les règles sans devoir être appelé pour chaque produit. Le résultat généré doit néanmoins être revu humainement, notamment pour éviter qu’une publicité insérée ne décale les sélecteurs positionnels.
Supposons que le catalogue comporte nom, SKU, prix actuel, devise et indications de livraison. Si SKU et prix ont une position stable, récupérez leur texte brut par règle. Confiez ensuite au modèle des indications comme « expédié environ deux semaines après la précommande » pour les organiser dans les champs convenus. La stratégie LLM de Crawl4AI prend en charge schema et découpage en blocs et convient à ce travail d’interprétation, mais ajoute usage du modèle et vérification des résultats. Le routage, la fusion et la gestion des erreurs pour enchaîner les deux stratégies restent à la charge de l’application.
ScrapeGraphAI convient davantage pour décrire d’abord l’objectif dans un prompt commun puis fixer la forme de sortie par schema. Avec plusieurs structures de page, cela peut réduire les règles de localisation propres à chaque site, mais exige de définir précisément « prix actuel », « à partir de » et « prix barré ». Son service Schema produit des contraintes de sortie JSON, pas des règles de localisation CSS, et ne prouve pas qu’un prix appartient au produit cible.
Une approche mixte n’exige pas de remplacer tout le collecteur. Extract accepte actuellement du HTML ou Markdown existant : on peut donc lui faire interpréter des fragments de produit autorisés et déjà sauvegardés. Mais il faut préserver les libellés de prix, caractéristiques et frontières des produits, plutôt que quelques nombres dont le modèle devrait deviner les relations. L’appel hébergé transmet aussi le contenu au fournisseur ; il doit entrer dans les autorisations de traitement des données de l’équipe.
Valider séparément la couverture des produits et l’exactitude des champs
Le deep crawling de Crawl4AI offre des contrôles de profondeur, domaine et filtrage. L’interaction avec les pages exécute du JavaScript, attend le contenu et gère « Charger plus ». Découvrir des liens et développer la page actuelle sont deux tâches différentes. Fixer une profondeur ne prouve pas automatiquement que tous les produits des pages suivantes sont apparus.
Le Crawl hébergé de ScrapeGraphAI explore également les liens, limite nombre de pages, profondeur et chemins inclus et renvoie l’état des tâches de manière asynchrone. Il faut encore lire l’interface de résultats paginés pour obtenir le contenu réel des pages. La pagination par curseur des résultats de l’API ne doit pas être confondue avec la pagination du catalogue du site cible. La capacité de la bibliothèque open source à recevoir plusieurs sources ne représente pas non plus automatiquement l’ensemble des fonctions de Crawl hébergé.
L’acceptation doit commencer par une liste des URL de produits attendues, puis vérifier l’état d’extraction de chacune. Obtenir 20 beaux enregistrements sur la page d’accueil ne prouve pas l’absence de produits sur une autre page. En cas de CAPTCHA, refus d’accès ou autorisation incertaine, arrêtez et confirmez l’autorisation. Contourner les restrictions n’est pas une méthode pour compléter les données.
Donner un sens explicite aux valeurs nulles, aux sources et aux actualisations
Il est recommandé de fixer les champs métier name, sku, price, currency, availability, et de conserver aussi source_url, fetched_at et un extrait de preuve. C’est un contrat de données de l’application, pas un format automatiquement garanti par les deux outils. Le programme de collecte écrit l’URL et l’heure ; le modèle ne doit pas les compléter de mémoire. L’extrait de preuve doit pouvoir être retrouvé mot pour mot dans la version sauvegardée de la page.
En l’absence de prix, autorisez null tout en distinguant « non fourni sur la page », « page incomplètement chargée » et « échec d’extraction ». Exiger la présence d’un champ et exiger une valeur numérique sont deux choses différentes. Un prix exclusivement numérique risque de transformer une absence légitime en valeur inventée. Un stock vide ne signifie pas une rupture, et null ne doit pas devenir un prix de zéro. Un sélecteur peut lire systématiquement la mauvaise zone, tandis qu’un modèle peut produire une valeur fausse au format entièrement valide. Après validation du schema, vérifiez donc encore les frontières du produit et le texte source.
Lors d’une actualisation, conservez les anciens enregistrements vérifiés et placez les nouveaux résultats dans une zone d’attente de validation. Un délai dépassé lors de la lecture de page peut faire l’objet de tentatives limitées avec temporisation progressive. Les conflits de champs doivent conserver leurs preuves et passer en revue humaine, sans interroger le modèle jusqu’à obtenir la réponse souhaitée. Si un ancien prix reste affiché, son ancienne date de collecte doit être visible : le dernier succès ne doit pas être présenté comme une mise à jour du jour.
Décider à partir d’un petit catalogue
Préparez par exemple 30 pages de produits autorisées couvrant 3 structures, soit 10 chacune, avec prix normal, prix « à partir de », prix absent, rupture et perturbations dues aux recommandations de produits. Annotez manuellement chaque champ cible et son emplacement d’origine. Les deux solutions utilisent les mêmes instantanés et le même contrat de sortie. Exécutez d’abord séparément les approches par règles et par modèle, puis comparez une solution mixte ne confiant au modèle que les champs ambigus.
L’acceptation doit au moins relever le nombre d’URL attendues couvertes, de produits correctement associés, de champs non vides corrects, de valeurs remplies alors qu’elles auraient dû être nulles, et le coût total par enregistrement accepté. Faites des mélanges entre produits et des prix inventés des motifs de blocage. Le responsable métier définit à l’avance combien d’absences réelles sont acceptables. Modifiez ensuite une structure, faites échouer une lecture de page et répétez les exécutions du même instantané pour vérifier alertes, nouvelles tentatives et différences de sortie. Ce sont des étapes à exécuter, pas des performances déjà obtenues.
Pour actualiser souvent des structures stables avec une personne chargée des règles, la voie de Crawl4AI donnant priorité aux règles mérite le premier essai. Si les structures sont dispersées, les champs demandent une interprétation textuelle et l’équipe peut assumer des revues par échantillonnage, la voie de ScrapeGraphAI donnant priorité au modèle convient mieux. Additionnez navigateur ou hébergement, modèles, réexécutions et corrections humaines. « Open source gratuit » ou un JSON réussi une fois ne remplace pas un budget. Si le propriétaire du catalogue propose déjà un export structuré autorisé, comparez d’abord ce chemin. L’achat vise des fiches produit traçables et réparables, pas seulement une extraction réussie.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :crawl4ai.com