Crawl4AI وScrapeGraphAI: أي حقول الكتالوج تُسند إلى المحددات وأيها إلى النموذج؟

مع القوالب المستقرة، ابدأ بقواعد محددات Crawl4AI واترك الحقول الدلالية للنموذج؛ ومع القوالب المتنوعة، قيّم ScrapeGraphAI أولًا. تحقّق من تغطية المنتجات وأدلة الحقول والقيم الفارغة كلًا على حدة، فـschema النموذج لا يغني عن التحقق من الحقائق.

المصدر: crawl4ai.com
November 16, 2026
6 min

عندما يحوّل فريق عمليات المنتجات كتالوجًا عامًا مأذونًا بجمع بياناته إلى جدول، لا تكون المشكلة الأكبر غالبًا غياب JSON، بل إسناد سعر إلى منتج آخر، أو تسجيل منتج نافد على أنه متاح، أو توقف الانتقال بين الصفحات دون خطأ ظاهر. يستطيع كل من Crawl4AI وScrapeGraphAI استخراج بيانات منظّمة. وينبغي أن يعتمد الاختيار على كيفية تحديد الحقول وإثبات مصدرها وإصلاحها عند تغيّر الصفحات.

للكتالوجات الكبيرة ذات القالب الواحد، ابدأ بتقييم الاستخراج بمحددات Crawl4AI، واترك للنموذج عددًا محدودًا من الحقول الدلالية. أما مع قوالب متنوعة ومهام تعتمد على فهم النص، فيمكن البدء بمسار التعليمات وschema في ScrapeGraphAI. يستند هذا التحليل إلى وثائق رسمية. الأمثلة التالية تصاميم لاختبارات قبول، وليست اختبارات جمع بيانات أُجريت بالفعل. النطاق يقتصر على محتوى عام مسموح بجمعه، مع الالتزام بأذونات الموقع وقواعد robots وحدود وتيرة الوصول.

حدّد المنتج قبل مقارنة طريقة الاستخراج

توفر مكتبة Crawl4AI المفتوحة المصدر الاستخراج باستخدام CSS وXPath وLLM، لكنها تملك أيضًا خدمة Cloud رسمية مستضافة. لذلك لم يعد وصف المقارنة بأنها أداة محلية مقابل واجهة سحابية دقيقًا. إعدادات المحددات المذكورة هنا تستند إلى وثائق المكتبة. وعند اختيار الخدمة السحابية، تحقّق على نحو منفصل من إتاحة المعلمات المطلوبة، ولا تفترض أن إعدادات المكتبة تعمل كما هي.

يميّز مستودع ScrapeGraphAI المفتوح المصدر بين حزمة scrapegraphai التي تشغّلها بنفسك وحزم SDK للواجهة المستضافة. يستقبل SmartScraperGraph تعليمات ومصدر صفحة واحدة، ويتولى الفريق إعداد النموذج وبيئة التشغيل؛ أما الخدمة المستضافة فتدير النموذج والمتصفح. لا ينبغي أن يؤدي اسم SmartScraper في المواد القديمة إلى اعتبار مسار الرسوم البيانية المفتوح المصدر والواجهة الحالية واجهة واحدة. تقبل خدمة Extract الحالية عنوان URL أو HTML أو Markdown، مع تعليمات وJSON schema اختياري، وتعيد نتائج منظّمة.

إذًا، الحاجة إلى نموذج محلي لا تحصر الاختيار في Crawl4AI، والحاجة إلى الاستضافة لا تحصره في ScrapeGraphAI. السؤال الأنفع هو: هل يفضّل الفريق صيانة قواعد تحديد مواضع البيانات لكل نوع من الصفحات، أم التحقق المستمر من تفسير النموذج لكل حقل؟

اترك الحقول المستقرة للقواعد والتفسير للنموذج

يتيح الاستخراج دون LLM في Crawl4AI تعريف حاوية المنتج، ثم استخدام CSS أو XPath لاستخراج العناوين والسمات والحقول المتداخلة داخلها. ويمكن أيضًا استخدام نموذج لتوليد schema للمحددات ثم إعادة استخدام القواعد. يساعد النموذج هنا في كتابة القواعد، ولا يلزم استدعاؤه عند قراءة كل منتج. ومع ذلك، تحتاج القواعد المولّدة إلى مراجعة بشرية، خصوصًا لتجنّب انزياح المحددات المبنية على ترتيب العناصر عند إدراج إعلان.

لنفترض أن الكتالوج يحتوي على الاسم وSKU والسعر الحالي والعملة وملاحظات التسليم. إذا كانت مواضع SKU والسعر مستقرة، فاستخدم القواعد للحصول على النص الأصلي. ثم دع النموذج يحوّل ملاحظة مثل «الشحن بعد نحو أسبوعين من الطلب المسبق» إلى الحقول المتفق عليها. تدعم استراتيجية LLM في Crawl4AI استخدام schema وتقسيم المحتوى، ما يلائم هذا التفسير، لكنه يضيف استهلاكًا للنموذج وعملًا للتحقق من النتائج. ويظل التطبيق مسؤولًا عن توجيه البيانات ودمجها ومعالجة الاستثناءات بين الاستراتيجيتين.

يلائم ScrapeGraphAI أكثر وصف الهدف بتعليمات موحّدة ثم تثبيت شكل المخرجات باستخدام schema. وقد يقلّل ذلك كتابة قواعد مواضع خاصة بكل موقع عند اختلاف القوالب، لكنه يتطلب تحديد معنى «السعر الحالي» و«السعر الذي يبدأ من» و«السعر المشطوب». تولّد خدمة Schema قيودًا لمخرجات JSON، لا قواعد لتحديد المواضع باستخدام CSS، ولا تثبت أن سعرًا ما يعود فعلًا إلى المنتج المستهدف.

لا يتطلب المسار المختلط استبدال أداة الجمع كاملة: تقبل Extract الحالية محتوى HTML أو Markdown موجودًا، لذا يمكن إرسال مقتطفات منتجات محفوظة ومأذون باستخدامها لتفسيرها. لكن يجب إبقاء تسميات الأسعار والمواصفات وحدود كل منتج عند اقتطاع المحتوى، بدل الاحتفاظ ببضعة أرقام وطلب تخمين العلاقات بينها. كما أن الاستدعاء المستضاف يرسل المحتوى إلى مزود الخدمة، وهو ما يجب أن تغطيه أذونات معالجة البيانات لدى الفريق.

اختبر اكتمال المنتجات وصحة الحقول كلًا على حدة

يوفر الزحف العميق في Crawl4AI التحكم في العمق والنطاق والتصفية. وتتيح التفاعلات مع الصفحة تنفيذ JavaScript وانتظار المحتوى والتعامل مع «تحميل المزيد». اكتشاف الروابط وتوسيع الصفحة الحالية عملان مختلفان؛ فتحديد عمق للزحف لا يثبت تلقائيًا ظهور جميع المنتجات عبر الصفحات.

تستطيع خدمة Crawl المستضافة من ScrapeGraphAI أيضًا استكشاف الروابط، وتحديد عدد الصفحات والعمق والمسارات المشمولة، وإرجاع حالة المهمة بصورة غير متزامنة. ويتطلب جلب المحتوى الفعلي قراءة واجهة النتائج المقسّمة إلى صفحات. يجب عدم الخلط بين التنقل بمؤشر داخل نتائج API والتنقل بين صفحات كتالوج الموقع نفسه. كذلك لا تعني قدرة المكتبة المفتوحة المصدر على قبول مصادر متعددة أنها توفر جميع وظائف Crawl المستضافة.

في اختبار القبول، ابدأ بقائمة عناوين URL للمنتجات المتوقعة، ثم افحص حالة الاستخراج لكل عنوان. الحصول على 20 سجلًا مرتّبًا من الصفحة الرئيسية لا يثبت عدم وجود منتجات في صفحة أخرى. عند مواجهة CAPTCHA أو رفض وصول أو إذن غير واضح، توقّف وأكّد التفويض؛ تجاوز القيود ليس وسيلة لاستكمال البيانات.

امنح القيم الفارغة والمصدر والتحديث معاني واضحة

يُقترح تثبيت حقول العمل name وsku وprice وcurrency وavailability، مع حفظ source_url وfetched_at ومقتطفات الأدلة. هذا اتفاق بيانات خاص بالتطبيق، وليس صيغة تسليم تضمنها الأداتان تلقائيًا. ينبغي لبرنامج الجمع كتابة عنوان المصدر والوقت، لا ترك النموذج يملؤهما من الذاكرة. ويجب أن يكون كل مقتطف دليل قابلًا للعثور عليه حرفيًا في نسخة الصفحة المحفوظة.

اسمح بقيمة null عند غياب السعر، مع التمييز بين «غير مذكور في الصفحة الأصلية» و«الصفحة لم تُحمّل كاملة» و«فشل الاستخراج». إلزام وجود الحقل يختلف عن إلزام احتوائه على رقم؛ فقصر السعر على القيم الرقمية قد يحوّل غيابًا مشروعًا إلى قيمة خاطئة. ولا تفسّر غياب معلومات المخزون بأنه نفاد، ولا تحوّل null إلى سعر صفري. قد تستخرج المحددات المنطقة الخطأ باستمرار، وقد يولّد النموذج قيمة خاطئة بصيغة صحيحة تمامًا. لذا افحص حدود المنتج والنص الأصلي بعد التحقق من schema أيضًا.

عند التحديث، احتفظ بالسجل السابق الذي تم التحقق منه، وضع النتيجة الجديدة في منطقة تنتظر المراجعة. يمكن إعادة محاولة جلب الصفحات عند انتهاء المهلة، بعدد محدود وفواصل متزايدة. أما تعارض الحقول فيجب أن يحتفظ بالأدلة ويُحال للمراجعة البشرية، بدل تكرار سؤال النموذج حتى يعطي إجابة مرغوبة. وإذا استمر عرض سعر قديم، فأظهر وقت جمعه الأصلي؛ لا تقدّم آخر نجاح على أنه تحديث اليوم.

استخدم كتالوجًا صغيرًا لاتخاذ قرار الاعتماد

يمكن إعداد 30 صفحة منتجات مأذون بها تغطي 3 قوالب، بواقع 10 صفحات لكل قالب. ضمّن أسعارًا عادية، وأسعار «يبدأ من» فقط، وأسعارًا غائبة، ومنتجات نافدة، وتوصيات بمنتجات قد تربك الاستخراج. حدّد يدويًا كل حقل مستهدف وموضعه في النص الأصلي. استخدم لقطات الصفحات نفسها واتفاق المخرجات نفسه في الحلّين. شغّل مسار القواعد ومسار النموذج كلًا على حدة، ثم قارنهما بمسار مختلط يرسل الحقول الملتبسة فقط إلى النموذج.

سجّل على الأقل عدد عناوين URL المتوقعة التي شملها الجمع، وعدد مطابَقات المنتجات الصحيحة، والحقول غير الفارغة الصحيحة، والحقول التي مُلئت رغم وجوب تركها فارغة، والتكلفة الإجمالية لكل سجل مقبول. اعتبر خلط القيم بين المنتجات واختلاق الأسعار أخطاء تمنع القبول. أما مقدار النقص الحقيقي المقبول فيحدده مسؤول العمل مسبقًا. بعد ذلك غيّر قالبًا واحدًا، وتسبّب في فشل قراءة صفحة مرة واحدة، وكرّر التشغيل على اللقطة نفسها للتحقق من التنبيهات وإعادة المحاولة واختلاف المخرجات. هذه خطوات اختبار مقترحة، وليست نتائج حققتها الأدوات بالفعل.

إذا كانت القوالب مستقرة وتُحدّث مرارًا ويوجد من يصون القواعد، فابدأ بتجربة مسار Crawl4AI الذي يعطي الأولوية للقواعد. وإذا كانت القوالب متباينة وتعتمد الحقول على تفسير النص وكان الفريق قادرًا على مراجعة عينات، فمسار ScrapeGraphAI الذي يعطي الأولوية للنموذج أنسب. اجمع استهلاك المتصفح أو الخدمة المستضافة، والنموذج، وإعادة التشغيل، والإصلاح البشري عند حساب التكلفة؛ لا تستبدل الميزانية بعبارة «المصدر المفتوح مجاني» أو بنتيجة JSON ناجحة واحدة. وإذا كان مالك الكتالوج يوفر بالفعل تصديرًا منظّمًا مأذونًا به، فقيّم ذلك المسار أولًا. ما تختاره في النهاية هو سجلات منتجات قابلة للتتبّع والإصلاح، لا مجرد عملية استخراج ناجحة.

ملاحظة حول المحتوى:يستند هذا المقال إلى معلومات متاحة للعموم ويُعد مرجعًا للمساعدة في اختيار الأدوات. قد تتغير الميزات والأسعار والسياسات ذات الصلة في أي وقت، لذا يُرجى الرجوع إلى أحدث المعلومات الرسمية.

المصدر الأصلي:crawl4ai.com