Unstructured Transform أم LlamaParse: هل يمكن الرجوع من أرقام إجابات التقارير السنوية إلى الجدول الأصلي للتحقق؟
يمكن للفرق التي لديها مسار قائم لإدخال العناصر إلى قاعدة البيانات تقييم Transform أولًا، بينما يمكن لمن يحتاج إلى بيانات الجداول الممتدة عبر صفحات وتحديد مواضعها بدقة البدء بتقييم LlamaParse. قارنوا مواصفات المخرجات وعلاقاتها بصفحات المصدر وإشارات المراجعة، ولا تعدّوا نجاح التحليل أو ارتفاع الدرجة دليلًا على صحة الإجابة.
حين يجيب مساعد بحث، بالاستناد إلى تقرير سنوي، عن سؤال «كم بلغت إيرادات هذه المنطقة؟»، يظل على الزملاء أن يتمكنوا من النقر للعودة إلى الجدول الأصلي والتحقق. يستطيع كل من Unstructured Transform وLlamaParse تهيئة المستندات المعقدة لاسترجاع المعلومات لاحقًا، لكن الاقتصار عند الشراء على مقارنة مدى ترتيب Markdown يغفل هذه الخطوة. يمكن للفرق التي تُدخل المحتوى أصلًا على مستوى العناصر أن تبدأ بفحص عناصر Transform وأرقام الصفحات ومعلومات الصفحات التي تعذرت معالجتها؛ أما الفرق التي تحتاج إلى تمرير الجداول الممتدة عبر صفحات إلى تحليل البيانات أو تحديد مواضع الخلايا، فيمكنها إعطاء الأولوية لتقييم مخرجات الجداول في LlamaParse. تستند هذه المفاضلة إلى وثائق الواجهات الرسمية وليست ترتيبًا لدقة التعرّف في المنتجين ناتجًا عن اختبار عملي.
حدّد أولًا الصفحة التي يجب أن تعود إليها الإجابة
يستخدم Transform حاليًا واجهة v2 Parse، ويُخرج Markdown افتراضيًا. وتوضح الوثائق الرسمية أن طلب elements صراحة يتيح قراءة نوع كل عنصر ونصه وmetadata.page_number؛ وفي المثال الخاص بهذه الحالة تكون قيمة markdown هي null. لذلك قد لا يتوافق ربط الطلب الافتراضي ثم توقع الحصول تلقائيًا على مجموعة كاملة من بيانات العناصر مع مواصفات الاستجابة. إذا كانت قاعدة البيانات المتجهية القائمة تُدخل الفقرات أو عناصر الجداول كوحدات، فاحفظ أولًا الروابط بين معرّف الملف الأصلي ورقم الصفحة والعنصر، ثم عالج التقسيم إلى مقاطع وإنشاء التضمينات.
ولا ينبغي افتراض توافر معلومات الموضع دائمًا. فقد تغيب إحداثيات عناصر Transform أو تكون قيمتها null؛ وقد تتألف إحداثيات عنصر يمتد عبر صفحات من عدة مربعات، يرتبط كل منها برقم صفحة. ينبغي لواجهة الاستشهادات إبراز الموضع حين تتوافر الإحداثيات، والرجوع إلى الصفحة الأصلية حين لا تتوافر، بدلًا من تخمين موضع لاستكمال الواجهة. ويجب أن تشمل اختبارات القبول عند الشراء هذا السلوك البديل.
يعيد expand=items في LlamaParse شجرة لعناصر الصفحات مرتبة وفق تسلسل القراءة، تتضمن أرقام الصفحات وأبعادها، مع حقول مختلفة للجداول والنصوص والصور وغيرها. وتستخدم المربعات المحيطة نقاط الصفحة، لا وحدات البكسل ولا الإحداثيات المطبّعة؛ وقد تختلف أبعاد الصفحات داخل المستند الواحد. إذا أراد الفريق رسم مواضع الأدلة على لقطات الشاشة، فعليه تحويل الإحداثيات بحسب أبعاد الصفحة المعنية، لا معاملتها مباشرة على أنها بكسلات الصورة. كما يسمح LlamaParse بأن تكون bbox بقيمة null، لذا يبقى حفظ سلسلة الاستشهادات كاملة والتحقق منها من مسؤولية التطبيق.
لا تكتفِ باللقطة الأولى لجدول يمتد عبر صفحات
تخيّل جدول إيرادات يمتد على صفحتين: تتضمن الأولى عناوين المناطق والسنوات، وتتابع الثانية صفوف البيانات. يحتاج القارئ إلى قيمة صف معين مع السنة والعملة والمصدر المرتبط بها، لا إلى كتلة نصية تشبه الجدول فحسب. ينبغي في اختبارات القبول استخدام ملفات أصلية تتضمن رؤوسًا مدمجة وجداول متتابعة وحواشي، للتحقق من استمرار تطابق الرؤوس مع الأعمدة الصحيحة ومن قدرة الإجابة على الوصول إلى الصفحة التي تحتوي فعلًا على القيمة. هذا سيناريو اختبار مقترح، وليس نتيجة اختبار أُنجز بالفعل.
توفر وثائق الجداول في LlamaParse مخرجات مثل rows وCSV وHTML؛ ويمكن لـHTML تمثيل الخلايا المدمجة، بينما لا تستطيع جداول Markdown ذات الفواصل العمودية ذلك. عند تفعيل merge_continued_tables، تُدمج أجزاء الجدول المتتابعة في صفحة البداية، ويمكن حفظ علاقات الدمج عبر merged_from_pages وmerged_into_page. وهذا مفيد للفرق التي تمرر الجداول إلى برامج التحليل، لكن التطبيق الذي يحفظ الصفحة الأولى التي يقع عليها الجدول المدمج فقط قد يفقد معلومات صفحات المصدر. يجب أن يكون اختيار الصيغة وحفظ علاقات أرقام الصفحات قرارًا واحدًا ضمن عملية الربط.
أما Transform، فمن الأنسب البدء بتقييمه وفق الطريقة القائمة لاستهلاك العناصر: هل تلبي عناصر Table وأرقام الصفحات والإحداثيات الممتدة عبر الصفحات التي تعيدها الاستجابة فعلًا متطلبات الإدخال والاستشهاد في الأنظمة اللاحقة؟ لا تتعامل مع أمثلة مكتبة partition القديمة على أنها استجابات Transform الحالي، ولا تفترض أن رؤوس جداولك المدمجة ستُعالج بصورة صحيحة لمجرد أن صفحة تسويقية تذكر قدرات التعامل مع الجداول. وإذا كان المطلوب في النهاية بيانات كاملة للصفوف والأعمدة أو إبرازًا دقيقًا للمواضع، فيجب فحص الاستجابة الفعلية باستخدام العينة نفسها، لا الاكتفاء بالتأكد من أن السلسلة النصية المعادة غير فارغة.
ينبغي إدراج إشارات الجودة في قائمة المراجعة
قد تظل نتيجة Transform ذات الحالة completed فاقدة لصفحات تعذرت قراءتها، أو تتضمن صفحات لم يُتعرّف على محتواها بالكامل. وتطلب الوثائق الرسمية من مستدعي الواجهة فحص failed_pages وdegraded_pages وwarnings. يقيس parse_confidence في العنصر مدى توافق نصه مع نص OCR، ولا يمثل «احتمال صحة المحتوى»؛ وتعني القيمة null أن القياس غير متاح، لا أن الدرجة صفر. يمكن للفريق تنظيم المراجعة استنادًا إلى هذه المعلومات، لكن لا ينبغي عرض درجة مرتفعة باعتبارها تحققًا مباشرًا من صحة حقيقة تخص العمل.
ينبّه parse_concerns الخاص بجداول LlamaParse إلى مشكلات مثل أعداد غير معتادة للصفوف أو الأعمدة، وعدم توافق الرؤوس مع أنواع القيم. وتوضح الوثائق الرسمية أيضًا أن العلامات إشارات للمراجعة: وجود علامة لا يثبت خطأ الجدول، وغيابها لا يضمن صحته. كما يجب فحص success في مخرجات الصفحات. يتيح المنتجان معلومات يمكن إدراجها في مسار المراجعة، لكن أيًا منهما لا يغني عن الرجوع إلى الأصل؛ وبالنسبة إلى المبالغ أو الكميات المهمة، ينبغي الاستمرار في مطابقة نتائج التحليل مع صفحات المصدر ذات الصلة.
لذلك ينبغي أن تسلّم التجربتان الأوليتان للمنتجين المجموعة نفسها من النتائج: محتوى قابلًا للبحث، وعلاقات تربط الملفات الأصلية بصفحات المصدر، ومقاطع تتطلب مراجعة بشرية، وقائمة بالصفحات المحذوفة من المخرجات. ابدأ بتقييم Transform عندما توجد مواصفات قائمة لإدخال المحتوى بحسب العناصر ويرغب الفريق في مواصلة استخدامها؛ وابدأ بتقييم LlamaParse عندما تكون صيغة بيانات الجداول الممتدة عبر صفحات وتحديد المواضع على مستوى دقيق متطلبات أساسية. وفي النهاية، قارن أي المخرجات يساعد الفريق على فقدان أدلة أقل، ومقدار ما يتطلبه من أعمال تكييف ومراجعة، بدلًا من اختزال موثوقية الإجابة بأكملها في درجة ثقة واحدة.
ملاحظة حول المحتوى:يستند هذا المقال إلى معلومات متاحة للعموم ويُعد مرجعًا للمساعدة في اختيار الأدوات. قد تتغير الميزات والأسعار والسياسات ذات الصلة في أي وقت، لذا يُرجى الرجوع إلى أحدث المعلومات الرسمية.
المصدر الأصلي:docs.unstructured.io