Pydantic AI أم DSPy لاستخراج طلبات الدعم من البريد: ضبط الحقول أم تحسين فهم الطلب؟
قد تكون الحقول سليمة وتظل نية العميل مفهومة على نحو خاطئ. يناسب Pydantic AI البدء بالتحقق من الأنواع وإعادة المحاولة ومعالجة الفشل، بينما يناسب DSPy تحسين الاستخراج عند توفر أمثلة ممثلة ومعايير تقييم. ويجب احتساب وسم البيانات وبحث التحسين واستدعاءات الإنتاج ضمن المقارنة.
يرسل فريق الدعم رسائل العملاء إلى نموذج ويتوقع الحصول على أرقام الطلبات وأنواع الطلبات والمبالغ ومقتطفات تدعم الاستخراج. لكن الصعوبة أن الحقول قد تصبح جاهزة لقاعدة البيانات مع بقاء فهم نية العميل خاطئًا. يناسب Pydantic AI البدء بوضع حدود للمخرجات يمكن التحقق منها، بينما يناسب DSPy تحسين برنامج الاستخراج بصورة منهجية بعد توفر أمثلة ممثلة ومعايير تقييم. ويمكن الجمع بينهما، ولا يثبت أي منهما صحة المحتوى بمجرد إنتاج JSON سليم.
ابدأ بالفصل بين نوعين من الأخطاء
لنفترض أن العميل كتب: «مبلغ 299 يوانًا الخاص بالطلب A123 ليس طلبًا لاسترداد المال. يرجى أولًا توضيح الخصم المكرر». هذا مثال تحليلي وليس نتيجة اختبار. تصنيف الطلب على أنه استرداد خطأ في المعنى، حتى لو كان رقم الطلب نصًا والمبلغ رقمًا والنوع ضمن القيم المسموح بها.
يمكن البدء بتحديد حقول المخرجات: نوع الطلب ورقمه والمبلغ والعملة والمقتطف الداعم والمعلومات الناقصة. ينبغي السماح بترك العملة فارغة عند غيابها، وعدم تخمين رقم لمجرد أن حقل المبلغ إلزامي. ويجب أيضًا تحديد ما إذا كانت الرسالة التي تضم عدة طلبات ستنتج قائمة. هذا الاتفاق على الحقول وقواعد الوسم هو نقطة البداية العادلة لمقارنة الأداتين.
Pydantic AI: تحديد شروط قبول نتيجة كل استدعاء
تتيح وثائق مخرجات Pydantic AI تعريف النتائج باستخدام نماذج Pydantic وأنواع أخرى، وتوفر أساليب منها إخراج الأدوات والمخرجات المنظمة الأصلية للنموذج والإخراج الموجّه بالتعليمات. يعتمد اختيار الأسلوب على قدرات النموذج. وقد يؤدي فشل التحقق إلى إعادة المحاولة، كما يستطيع المطور كتابة دوال للتحقق من المخرجات واستخدام ModelRetry لطلب تعديل النتيجة. لإعادة المحاولة حد مقرر، ولذلك لا يجوز افتراض أن تكرارها يضمن النجاح.
في استخراج طلبات الدعم، يمكن وضع الأنواع المسموح بها ونطاقات المبالغ ضمن القيود، ثم التحقق من وجود المقتطفات الداعمة فعلًا في الرسالة. هذا الفحص الأخير منطق يجب أن ينفذه الفريق، وليس تدقيقًا آليًا للحقائق يقدمه إطار العمل. وحتى المقتطف الموجود قد لا يدعم الاستنتاج؛ فعبارة «ليس طلبًا لاسترداد المال» تتطلب أن يغطي التحقق أو التقييم معنى النفي.
يناسب هذا المسار فرق الهندسة التي تعرف الحقول المقبولة لدى الأنظمة اللاحقة وتحتاج إلى معالجة واضحة للفشل. عند تجاوز حد المحاولات، ينبغي حفظ سبب الفشل وإحالة الحالة إلى موظفي الدعم بدل ملء القيم الافتراضية بصمت. تضبط إعادة المحاولة والتحقق واجهة البيانات، لكنهما لا يغنيان عن تقييم جودة الاستخراج.
DSPy: تحسين البرنامج وفق تقييم يعكس متطلبات العمل
يستطيع DSPy أيضًا تعريف البنية. توضح وثائق Signature حقول الإدخال والإخراج وأنواعها، وتشمل الأنواع الأكثر تفصيلًا نماذج Pydantic كذلك. لذا لا تصح صياغة المقارنة باعتبار أن Pydantic AI يملك أنواعًا بينما يفتقر إليها DSPy.
يكمن اختلاف DSPy في مسار التحسين. تحدد وثائق أدوات التحسين الرسمية البرنامج ودالة التقييم ومدخلات التدريب بوصفها المواد الأساسية. فمثلًا، يستكشف MIPROv2 تركيبات من التعليمات والأمثلة التوضيحية القليلة. وقد تتضمن أدوات أخرى ضبط أوزان النموذج، لكن تحسين التعليمات لا يعني دائمًا تدريب نموذج جديد. ويمكن لبعض مسارات التحسين البدء بمدخلات غير موسومة، إلا أن ذلك لا يعفي فريق الدعم من وضع معايير قبول موثوقة.
في هذه المهمة، ينبغي أن يبدأ أشخاص يفهمون العمل بوسم الرسائل وتحديد الفروق بين استرداد المال والاستفسار عن خصم وتعديل طلب، ثم وضع التقييم. افحص تطابق رقم الطلب ونوعه والمبلغ والعملة ومدى دعم الأدلة كلًا على حدة. إخفاء أخطاء الحقول المهمة داخل متوسط واحد يكافئ برنامجًا قد لا يناسب العمل. يتبع التحسين الهدف المحدد له، ولا يكتشف من تلقاء نفسه القواعد التي أغفلها الفريق.
ينبغي فصل أمثلة التدريب والتحسين عن أمثلة القبول النهائي. يُنصح بالتقسيم بحسب العميل أو المحادثة لمنع وجود صيغ مختلفة للرسالة نفسها في المجموعتين. ويجب تغطية الحقول الناقصة والنفي والطلبات المتعددة والرسائل متعددة اللغات أيضًا. من دون هذا الإعداد، قد لا تؤدي زيادة جولات التحسين إلا إلى زيادة الإنفاق، ولا تبرر الادعاء بتحسن الدقة.
احتساب الاستدعاءات مع التمييز بين طبقات المنتجات
المقصود بـ Pydantic AI هنا هو حزمة تطوير Python. أما Pydantic AI Harness فهي مكتبة قدرات مبنية عليها لأعمال الوكلاء الأكثر تعقيدًا، مثل التعامل مع الملفات والتخطيط والذاكرة. ولا يتطلب استخراج حقول رسالة بسيطة إدخال وكيل متكامل لمهام طويلة. ويتولى Logfire الرصد وتصحيح الأخطاء؛ فلا ينبغي اعتبار رسوم خدمته أو قدراته سعرًا للحزمة نفسها أو شروطًا لازمة لاستخدامها.
كذلك لا تدفع أدوات تحسين DSPy تكاليف استدعاءات النموذج بدلًا من الفريق. عند المقارنة، افصل تكاليف الاستدلال في الإنتاج والتشغيل والصيانة المشتركة عن التكاليف الإضافية لإعادة المحاولة ووسم البيانات وبحث التحسين واستدعاءات التقييم وخدمات الرصد الاختيارية. وقد تؤدي إضافة أمثلة أكثر إلى التعليمات إلى زيادة رموز الإدخال بعد النشر. الحصول على تقييم أعلى أثناء التحسين لا يعني تلقائيًا انخفاض تكلفة كل رسالة.
فمثلًا، إذا عالجت تجربة 1,000 رسالة، واستلزمت 100 منها استدعاءً إضافيًا واحدًا لكل رسالة، فستضاف 100 عملية استدعاء. لكن لا يمكن استنتاج زيادة التكلفة بنسبة 10% مباشرة، لأن طول المدخلات والمخرجات قد يختلف. هذا مثال لحساب الميزانية، وليس معدل إعادة المحاولة لأي من المنتجين. وينبغي أيضًا فصل نفقات تحسين DSPy خارج الإنتاج، ثم مقارنتها بالتوفير أو مكاسب الجودة بعد النشر.
استخدم مجموعة الرسائل نفسها لتحديد الخطوة التالية
إذا كانت المشكلة الأساسية هي الحقول غير المطابقة والاستثناءات التي لا تُعالج، فابدأ بخدمة استخراج صغيرة باستخدام Pydantic AI، وحدد الحقول التي تقبل قيمة فارغة وقواعد التحقق ومسار معالجة الفشل. أما إذا استقر التنسيق وظلت الأخطاء متكررة في فهم نوع الطلب، وكان لدى الفريق أمثلة موسومة ومسؤول عن التقييم، فاستخدم DSPy لمقارنة البرنامج قبل التحسين وبعده على مجموعة اختبار محفوظة لهذا الغرض.
يمكن أيضًا تحسين وحدة الاستخراج باستخدام DSPy ثم ربطها بخدمة قائمة للتحقق من الأنواع. هذا اختيار هندسي يتطلب دمجًا واختبارات انحدار، وليس ضمانًا جاهزًا بمجرد جمع الإطارين. وإذا كان استدعاء بسيط للنموذج مع التحقق الموجود يفي بالمتطلبات، فلا حاجة إلى صيانة طبقتي التجريد معًا.
عند القبول، راقب بصورة منفصلة على الأقل نسبة اجتياز البنية وصحة الحقول المهمة ونسبة حالات الفشل المحالة وإجمالي تكلفة الاستدعاءات لكل رسالة وزمن الاستجابة. يستند هذا التحليل لاختيار الأداة إلى الوثائق الرسمية ولم تُجرَ تجربة مقارنة للدقة. ينبغي أن يتحدد الاختيار بحسب ما إذا كان الفريق يفتقر إلى ضبط المخرجات أم إلى مسار قابل للقياس لتحسين فهم المعنى، لا بحسب شهرة اسم إطار العمل.
ملاحظة حول المحتوى:يستند هذا المقال إلى معلومات متاحة للعموم ويُعد مرجعًا للمساعدة في اختيار الأدوات. قد تتغير الميزات والأسعار والسياسات ذات الصلة في أي وقت، لذا يُرجى الرجوع إلى أحدث المعلومات الرسمية.
المصدر الأصلي:pydantic.dev