Promptfoo وDeepEval: كيف تجعل فشل اختبارات تراجع الموجّهات يمنع الدمج فعلًا

يلائم Promptfoo مراجعة تركيبات الموجّهات والنماذج عبر الإعدادات، بينما يلائم DeepEval دمج التقييم في اختبارات Python. أساس الاختيار هو التمييز بين درجة المقياس ونسبة نجاح مجموعة الاختبارات وفحص CI الذي يمنع الدمج فعلًا، مع تثبيت الأمثلة وخط أساس الحَكَم.

المصدر: www.promptfoo.dev
November 15, 2026
6 min

بعد اختصار الموجّه، تبدو بعض الإجابات التجريبية أفضل، لكن حقول الطلبات تبدأ بالاختفاء. يحتاج المسؤول عن الإصدار إلى معرفة الحالات السابقة التي يجب أن تظل ناجحة، ومن سيمنع الدمج عند فشلها. يستطيع كل من Promptfoo وDeepEval تحويل مخرجات النماذج إلى اختبارات آلية، لكن الفرق الأكثر فائدة هو مكان حفظ قواعد الاختبار وكيفية وصول الفشل إلى التكامل المستمر CI.

إذا أراد الفريق مقارنة الموجّهات والنماذج والأمثلة جنبًا إلى جنب ضمن إعدادات قابلة للمراجعة، فمن المناسب تقييم Promptfoo أولًا. وإذا كان التطبيق يملك أصلًا اختبارات Python وتحضيرًا للبيانات وتحققات من قواعد العمل، فإن DeepEval أنسب لإدخال التقييم في هذه الاختبارات. يستند هذا التحليل إلى مواد رسمية وليس إلى ترتيب مبني على اختبارات تشغيل فعلية.

حدّد أولًا المنتجات التي تقارن بينها

ينص إعلان الاستحواذ الخاص بـPromptfoo بوضوح على استمرار صيانة الأدوات المفتوحة المصدر ودعم نماذج متعددة. ويذكر المستودع الحالي أنه أصبح جزءًا من OpenAI وأنه ما يزال مفتوح المصدر بترخيص MIT. لا يصح استنتاج أن المنتج أُغلق أو أنه لا يختبر إلا نماذج OpenAI. أما المستودع الرسمي لـDeepEval فيوفر إطار تقييم مفتوح المصدر، فيما تمثل منصة Confident AI المستضافة طبقة خدمة منفصلة.

يمكن للأداتين المشاركة في فحوص التراجع قبل الإصدار. تقارن هذه المقالة فقط كيفية الحفاظ على السلوك المعتمد بعد تعديل الموجّهات. عدد ميزات الاختبار الهجومي، وقدرات المراقبة في بيئة الإنتاج، ودرجات المعايير التي ينشرها المورّدون لا تحل محل هذا القرار.

من سيصون قواعد الفشل؟

توضح مقدمة Promptfoo ووثائق التحققات أن التقييم يعمل عبر سطر الأوامر أو مكتبة، ويمكنه التحقق من شروط التساوي وبنية JSON ودوال مخصصة. تسهّل طريقة الإعدادات مقارنة الموجّه القديم والجديد على الأمثلة نفسها. لكن المقابل هو أن تحضير البيانات المعقد وأحكام العمل ما زالت تحتاج إلى شيفرة؛ فملف YAML لا يفهم قواعد الطلبات تلقائيًا.

تفصل وثائق اختبارات الوحدات ضمن CI في DeepEval بين تحميل البيانات وبناء حالات الاختبار وتشغيلها. يمكن جلب الأمثلة من CSV أو JSON أو الشيفرة، ثم ربطها بالاختبار باستخدام assert_test وتشغيلها عبر deepeval test run. يستطيع من يصون اختبارات Python الحالية اتباع سلسلة المسؤولية هذه، لكن زملاء فريق المنتج قد لا يستطيعون تعديل دوال الاختبار مباشرة. الاعتماد على الإعدادات أو على Python اختلاف في طريقة العمل الأساسية، وليس حدًا مطلقًا لقدرات أي من الأداتين.

لنفترض، مثلًا، أن ملخص خدمة العملاء يجب أن يتضمن order_id، وألا يحوّل عبارة «طُلب استرداد المبلغ» إلى «وصل المبلغ المسترد». افحص الشرط الأول عبر البنية أو قاعدة صريحة، ثم فكّر في استخدام نموذج حَكَم ذي معايير واضحة للشرط الثاني. فصل الشروط القابلة للتحقق الحتمي أولًا يمنع تحميل «درجة جودة» غامضة مسؤولية كل من التنسيق والمعنى المتعلق بالعمل.

وجود درجة لا يعني منع الدمج

توفر GitHub Action الخاصة بـPromptfoo الخيار fail-on-threshold، ووحدته النسبة المئوية للاختبارات الناجحة في المجموعة، من 0 إلى 100. أما G-Eval في DeepEval فيتيح تحديد threshold لمقياس منفرد؛ ويعني threshold=None وضع احتساب الدرجة فقط. نسبة نجاح المجموعة ودرجة المقياس المنفرد كميتان مختلفتان، حتى لو كُتبتا بصيغة 0.9 أو 90%.

في مثال افتراضي يضم 100 اختبار متساوي الوزن، يمكن أن تظل هناك 5 حالات فشل مع بلوغ نسبة نجاح 95%. إذا كان غياب رقم الطلب غير مقبول مطلقًا، فيجب جعل هذه الاختبارات الحرجة خاضعة لشرط نجاح إلزامي مستقل، بدلًا من إخفائها داخل المتوسط. هذه سياسة إصدار يجب أن يصممها الفريق، وليست حماية يحصل عليها تلقائيًا باختيار إطار عمل.

تميّز وثائق DeepEval أيضًا بين اختبارات الوحدات التي تستخدم assert_test وبين evaluate: الأولى تجعل الاختبار يفشل عند عدم استيفاء المقياس للشرط، بينما تجمع الثانية النتائج ولا تجعل عملية البناء تفشل من تلقاء نفسها. مع أي من الأداتين، تحقّق من أن الفشل ينتج حالة CI فاشلة، وأن هذا الفحص مضبوط بوصفه شرطًا لازمًا قبل الدمج. وجود ملف تقرير أو درجة حمراء على صفحة لا يثبت أن الدمج سيُمنع.

ثبّت الحَكَم لتفسير الفروق بين النسخ

يتيح llm-rubric في Promptfoo تحديد provider الخاص بالحَكَم ومعاملاته صراحة. ويدعم G-Eval في DeepEval تحديد model وevaluation_steps؛ وإذا لم تُحدَّد الخطوات، يولّدها انطلاقًا من criteria. لمقارنة التراجع، احفظ نموذج الحَكَم والقواعد والخطوات، لا الرقم النهائي وحده. حكم النموذج هو تقييم وفق معايير معينة، ولا يجوز اعتبار درجته مباشرة حقيقة مرجعية أو نسبة دقة بشرية.

يُنصح بحفظ نسخة الشيفرة المسجلة للتطبيق، والموجّه، ولقطة الأمثلة، والمخرجات المتوقعة، وإصدار مكتبة التقييم، ونموذج الحَكَم، وقواعد احتساب الدرجات معًا كخط أساس واحد. ثبّت إصدارات النماذج متى أمكن، وسجّل إعدادات أخذ العينات والتخزين المؤقت. القيمة الافتراضية لـpromptfoo-version في Action الخاصة بـPromptfoo هي latest؛ ولا ينبغي لخط أساس رسمي أن يعتمد على إصدار متغير. يقلل تثبيت هذه الشروط التغيرات غير المفسرة، لكنه لا يضمن تطابق سلوك نموذج بعيد في كل تشغيل.

ينبغي أيضًا التمييز مسبقًا بين ثلاث نتائج: إجابة غير مقبولة من منظور العمل، أو انتهاء مهلة استدعاء النموذج أو فشل المصادقة، أو تقلب حكم النموذج في الحالات الحدّية. لا يمكن احتساب أخطاء البنية التحتية إجابات ناجحة، كما أن إعادة التشغيل حتى تصبح الحالة خضراء لا تعني حل المشكلة. يمكن أولًا معايرة الحَكَم باستخدام إجابات جيدة وسيئة أكدها الفريق، ثم وضع شروط للتكرار والمراجعة البشرية. وحتى الدرجات ذات الاسم نفسه في الأداتين لا تصبح قابلة للمقارنة بصورة ذات معنى إلا بعد توحيد البيانات والحَكَم والقواعد.

قيّم الاختبار المفتوح المصدر والخدمات المستضافة كلًا على حدة

تدرج صفحة خطط Promptfoo جميع ميزات تقييم النماذج اللغوية الكبيرة ضمن Community، وتسمح بالتشغيل المحلي أو الاستضافة الذاتية. أما تعاون الفريق وSSO والنشر السحابي المُدار فتندرج ضمن Enterprise. ويوضح دليل البدء السريع لـDeepEval أن التقييم المحلي يمكن تشغيله بصورة مستقلة، مع إمكانية إرسال نتائج التشغيل إلى Confident AI بعد تسجيل الدخول. ويتطلب وسم خط الأساس official المذكور في وثائق CI وجود CONFIDENT_API_KEY، لأن خط الأساس هذا محفوظ في Confident AI. لا ينبغي اعتبار إدارة خطوط الأساس السحابية قدرة محلية لا تحتاج إلى حساب.

المصدر المفتوح لا يعني انعدام تكلفة التشغيل؛ فاستدعاءات النموذج المختبَر والحَكَم وموارد CI ومراجعة حالات الفشل كلها تحتاج إلى ميزانية. في تجربة للاختيار، استخدم المجموعة نفسها من الأمثلة المعتمدة، ثم أدخل حقلًا مفقودًا وخطأً دلاليًا وحالة واحدة لمحاكاة فشل الاستدعاء. افحص القاعدة التي تفشل، وما إذا كانت CI تمنع التغيير، وإمكان إرجاع النتائج إلى خط أساس ثابت. هذه طريقة قبول مقترحة، وليست اختبارًا أُجري لهذه المقالة.

عندما يكون العمل الأساسي مراجعة فروق الإعدادات بين تركيبات الموجّهات والنماذج، جرّب Promptfoo أولًا. وعندما يكون العمل إعادة استخدام تحضير البيانات وتحققات العمل ومسارات الاختبار في Python، جرّب DeepEval أولًا. اختر في النهاية المسار الذي يستطيع الفريق مواصلة صيانة قواعد فشله، واستخدم فحصًا يفشل عمدًا لإثبات أنه يحمي فعلًا بوابة الإصدار.

ملاحظة حول المحتوى:يستند هذا المقال إلى معلومات متاحة للعموم ويُعد مرجعًا للمساعدة في اختيار الأدوات. قد تتغير الميزات والأسعار والسياسات ذات الصلة في أي وقت، لذا يُرجى الرجوع إلى أحدث المعلومات الرسمية.

المصدر الأصلي:www.promptfoo.dev