Ragas أم TruLens: هل أغفل الاسترجاع بنداً أم استشهدت الإجابة بالدليل الخطأ؟
يناسب Ragas التحقق من تغطية الحقائق الضرورية باستخدام إجابات مرجعية، بينما يناسب TruLens تتبع فقدان الأدلة والإسناد الخاطئ عبر خطوات الطلب. افصل بين الاستدعاء والأمانة وإسناد الاستشهادات، واحفظ السياق الذي رآه النموذج فعلياً.
بعد تقليص عدد المقاطع المسترجعة من خمسة إلى ثلاثة في قاعدة معرفة لخدمة العملاء، تصبح إجابات الاسترداد أقصر، لكنها تحذف شروط الأهلية. هل أخفق الاسترجاع في العثور على البند، أم وصل البند إلى النموذج ثم صاغه أو استشهد به على نحو خاطئ؟ الاكتفاء بدرجة إجمالية للإجابة النهائية قد يسند الإصلاح إلى الشخص الخطأ.
ابدأ بتقييم Ragas إذا كانت لديك إجابات مرجعية وتريد مقارنة إعدادات الاسترجاع. وابدأ بتقييم TruLens إذا كنت تحتاج إلى تتبع المرحلة التي اختفى فيها الدليل داخل الطلب، أو التحقق من وجهة الاستشهاد. تستند هذه التوصية إلى وثائق رسمية وليست ترتيباً مبنياً على تجربة عملية. لقد تجاوز المنتجان تقييم RAG وحده: تشمل وثائق Ragas تقييم الوكلاء وسير العمل، بينما يركز TruLens على تقييم الوكلاء وتتبعهم.
حدد أولاً هل الدليل ناقص أم أسيء استخدامه
يستقبل ContextRecall في Ragas السؤال user_input، والمقاطع المسترجعة retrieved_contexts، والإجابة المرجعية reference. ويستخدم نموذجاً مُقيِّماً لتحديد ما إذا كانت المقاطع تغطي الحقائق الواردة في الإجابة المرجعية. الدرجة هي نسبة الحقائق المغطاة، وكلما ارتفعت كان ذلك أفضل. يناسب هذا سؤال «هل استرجعنا جميع الشروط الضرورية؟»، لكن تكلفته هي الحاجة إلى صيانة إجابات مرجعية موثوقة. وإذا أغفلت الإجابة المرجعية استثناءً، فلن تكشف درجة الاستدعاء هذا النقص أيضاً.
أما ContextPrecision فيركز على تقدم المقاطع المفيدة في الترتيب. وتتيح واجهة collections الحالية أيضاً التقييم باستخدام السؤال والمقاطع والإجابة المرجعية. وعند غياب المرجع، يستخدم ContextUtilization الإجابة المولدة للحكم على فائدة المقاطع، ولا يجوز اعتباره مقياساً لتغطية إجابة معلومة الصحة. الصلة والترتيب والاستدعاء أسئلة مختلفة: قد تكون المقاطع الثلاثة كلها ذات صلة، ومع ذلك تغيب عنها تحديداً حالة الاستثناء من الاسترداد.
تفحص ثلاثية RAG في TruLens صلة المقاطع بالسؤال، واتساق الإجابة مع الأدلة، ومدى إجابة الرد عن السؤال، كلّاً على حدة. لا تتطلب هذه التقييمات إجابة مرجعية، لذا تصلح للفرز الأولي للطلبات غير الموسومة. لكن الصلة العالية لا تثبت عدم وجود بند لم يُسترجع. ويقدم TruLens أيضاً مساراً لتقييم الاسترجاع يستخدم مقاطع مرجعية لحساب الاستدعاء وNDCG. لذلك لا يصح تقسيم الأداتين تقسيماً مطلقاً إلى «بمرجع» و«بلا مرجع».
وجود سند للإجابة لا يعني صحة الاستشهاد
يستقبل Faithfulness في Ragas السؤال والإجابة والمقاطع المسترجعة، ولا يشترط إجابة مرجعية. يفكك الإجابة إلى ادعاءات ويحسب نسبة ما تدعمه المقاطع، ضمن نطاق 0–1، حيث تكون الدرجة الأعلى أفضل. كما يفحص groundedness في TruLens ما إذا كانت ادعاءات الإجابة مدعومة في السياق المقدم. ولا يثبت أي من هذين النوعين من المقاييس وحده اكتمال الإجابة أو صحة قاعدة المعرفة نفسها.
هناك خطأ أقل وضوحاً: ترد مهلة الاسترداد بالفعل في المقطع الثاني، لكن الإجابة تستشهد بالأول. تدعم مجموعة الأدلة الجملة، ولذلك قد تظل درجة الاتساق جيدة. تميز قوالب الاستشهاد في TruLens صراحة بين فحصين. يطابق CitationAttribution علامات [N] الصريحة مع المقاطع المرقمة؛ وأي إسناد خاطئ يؤدي إلى الإخفاق، لكنه لا يعاقب الادعاءات التي لا تحمل علامة. أما CitationAccuracy فيدعم صيغ استشهاد أوسع، ويستخدم درجات 0–3، ويحسب غياب الاستشهاد المطلوب ضمن المشكلات. لا تطرح درجاته الخام مباشرة من درجات تقع بين 0–1.
لذلك، عند عرض روابط المصادر لموظفي خدمة العملاء، لا يكفي اختيار مقياس «الأمانة» وحده. تحتاج الفرق التي تعتمد Ragas إلى تعريف فحص مستقل لوجهة الاستشهاد. وحتى عند اعتماد TruLens، يجب اختيار القالب المناسب وحفظ الربط بين الأرقام والمقاطع الأصلية. ولا تستطيع أي من الأداتين تقرير الجمل التي تتطلب سياسة العمل إرفاق استشهاد بها.
افصل المسؤوليات بسجل قابل لإعادة التحقق
ما يلي تصميم تقييم مقترح، وليس نتائج اختبار نُفذ بالفعل. أعد 30 سؤالاً عن الاسترداد راجعها بشر، تشمل الاسترداد المعتاد والاستثناءات والحالات التي لا تتوافر لها إجابة في قاعدة المعرفة. احفظ لكل سجل معرّف السؤال، وإصدار المصدر، والإجابة المرجعية، ومقاطع الأدلة الضرورية. واحفظ لكل تشغيل، على حدة، قائمة الاسترجاع المرتبة، والسياق الذي أُرسل فعلياً إلى النموذج، والإجابة الكاملة، وخريطة الاستشهادات، وإصدار الإعدادات.
مثلاً: «فعّلت خطة سنوية قبل 10 أيام واستخدمت الخدمة بالفعل. هل ما زلت مؤهلاً لاسترداد المبلغ كاملاً؟». ضع بندين اصطناعيين للاختبار: [1] يمكن طلب الاسترداد خلال 14 يوماً من التفعيل. [2] لا يسري الاسترداد الكامل إذا استُخدمت الخدمة. يجب أن تتضمن الإجابة المرجعية البندين والعلاقة بينهما. هذا مثال أعمال اصطناعي، وليس سياسة استرداد تخص أي شركة.
ثبّت نسخة قاعدة المعرفة ونموذج التوليد والتوجيه، وغيّر top-k في الاسترجاع فقط من 5 إلى 3. مرر مجموعتي السياق الفعلي أولاً إلى ContextRecall في Ragas، ثم افحص Faithfulness. وفي TruLens، قيّم صلة كل مقطع، وgroundedness بين السياق الكامل والإجابة، ثم افحص الاستشهادات بصورة منفصلة. توضح وثائق Selector أن فحص المقاطع منفردة وتجميع السياق خياران مختلفان. وإذا تبع الاسترجاع إعادة ترتيب أو تصفية أو اقتطاع، فسجل هذه الخطوات؛ ولا تعتبر المقاطع المرشحة التي لم يرها النموذج أدلة كانت متاحة له.
يتيح هذا السجل أربعة مسارات للإصلاح على الأقل. إذا لم يدخل البند الثاني قائمة المرشحين، فافحص الاسترجاع. وإذا دخلها لكنه لم يصل إلى سياق النموذج، فافحص تجميع السياق. وإذا رأى النموذج البندين ومع ذلك وعد باسترداد كامل، فافحص التوليد. وإذا كانت الإجابة صحيحة لكنها استشهدت برقم خاطئ، فافحص الإسناد. أما إذا كان المصدر في قاعدة المعرفة متقادماً، فأحله إلى مسؤول المحتوى؛ فتغيير المُقيِّم لن يصلحه.
ثبّت المُقيِّم والمعايير قبل مقارنة الدرجات
تتأثر مقاييس LLM في الأداتين بالمُقيِّم. تمرر أمثلة Ragas نموذجاً مُقيِّماً بصورة صريحة، وتتيح إعدادات provider في TruLens اختيار النموذج أيضاً. عند المقارنة، ثبّت إصدار المُقيِّم المتاح نفسه ودرجة الحرارة ونص الإدخال، وسجل التوجيهات وتنفيذ المقاييس وطريقة التجميع في كل أداة. وحتى مع النموذج نفسه، لا تمثل درجة 0.8 وفق معايير مختلفة القياس نفسه.
اطلب أولاً من مراجعي العمل تصنيف الأمثلة إلى «دليل ناقص» أو «مخالفة الدليل» أو «إسناد خاطئ» أو «كان ينبغي الامتناع عن الإجابة»، ثم تحقق من اكتشاف التقييم الآلي لهذه الأخطاء. كرر تقييم الحالات الحدية واحتفظ بالأسباب، واحسب الأخطاء التي لم تُكتشف لكل فئة بدلاً من إخفاء الوعود عالية المخاطر داخل متوسط واحد. ينبغي فحص الامتناع الصحيح في الحالات التي لا إجابة لها، لا اختراع إجابة مرجعية لفرض حساب الاستدعاء عليها.
إذا كانت المشكلة هي إثبات أن الاسترجاع الجديد لم يُسقط حقائق ضرورية، فمقاييس Ragas المعتمدة على الإجابات المرجعية تقدم مساراً أكثر مباشرة. وإذا كانت المشكلة هي تبادل المسؤولية بين إعادة الترتيب وتجميع السياق والتوليد، فإن اختيار الخطوات وفحص الاستشهادات في TruLens أنسب للتشخيص. استكمل أولاً حفظ السياق الفعلي ووسم الأدلة، ثم اختر الأداة. وإلا فقد تقدم كلتاهما درجات جذابة من دون أن تحدد الخطوة التي تحتاج إلى إصلاح.
ملاحظة حول المحتوى:يستند هذا المقال إلى معلومات متاحة للعموم ويُعد مرجعًا للمساعدة في اختيار الأدوات. قد تتغير الميزات والأسعار والسياسات ذات الصلة في أي وقت، لذا يُرجى الرجوع إلى أحدث المعلومات الرسمية.
المصدر الأصلي:docs.ragas.io