Galileo وMaxim AI: تحديد الخطوة التي تحتاج إلى إصلاح في اختبارات خدمة العملاء متعددة الأدوار

عند نقص الحالات الحدّية عبر الأدوار، ابدأ بتقييم محاكاة المستخدم في Maxim. وعند الحاجة إلى تشخيص اختيار الأدوات وتنفيذها في محادثات فاشلة قائمة، ابدأ بتقييم Galileo. افصل انتهاء المحادثة عن نجاح العملية ودرجات النماذج، واحسب التكلفة على أساس مسار المحادثة الكامل.

المصدر: docs.galileo.ai
November 15, 2026
6 min

يؤكد وكيل خدمة العملاء الطلب أولًا، ثم يغيّر المستخدم رأيه ويطلب استبدال المنتج، بينما تعيد أداة خطأ انتهاء مهلة واجهة برمجة تطبيقات الاسترداد. حتى الرد الأخير المهذب قد يخفي فقدان الحالة، أو تكرار إرسال الطلب، أو وعدًا غير صحيح. عند اختيار منصة تقييم، المهم هو قدرتها على إعادة بناء هذا المسار متعدد الأدوار وتحويل الإخفاق إلى مهمة إصلاح يمكن التحقق منها في التشغيل التالي.

يناسب Galileo أكثر الفرق التي لديها محادثات حقيقية وتحتاج إلى تحديد المشكلات عبر استدعاءات الأدوات وضبط التقييم في بيئة الإنتاج. ويناسب Maxim AI أكثر الفرق التي تفتقر إلى الحالات الحدّية وتريد مستخدمًا محاكى يواصل طرح أسئلة المتابعة. كلاهما يقيّم الوكلاء؛ والفرق هو الجزء من العمل الذي يحتاج إلى استكمال أولًا. يستند هذا التحليل إلى وثائق رسمية. السيناريوهات وأرقام القبول افتراضية، ولم يُختبر أي من المنتجين عمليًا لهذا المقال.

حدّد أولًا هل تحتاج إلى مراقبة المحادثات أم توليد مسارات جديدة

تجمع بنية الجلسات في Galileo التتبعات المرتبطة ضمن session، وتتيح فحص spans لاستدعاءات الأدوات ومدخلاتها ومخرجاتها. إذا كان فريق الخدمة قد جمع محادثات فاشلة، فقد يساعد ذلك المهندسين على معرفة الدور الذي غيّر فيه المستخدم رأيه، وما إذا كانت الاستدعاءات التالية لا تزال تستخدم الطلب أو النية القديمة. يجب أن يربط إعداد التسجيل سجلات المحادثة الواحدة بصورة صحيحة؛ فالرد الأخير وحده لا يفسّر الحالة خلال الأدوار السابقة.

تتيح المحاكاة في Maxim إعداد السيناريو وشخصية المستخدم والحد الأقصى للأدوار، ثم يولّد الذكاء الاصطناعي مدخلات المستخدم اللاحقة. وتسجّل المحاكاة الجماعية السيناريوهات والخطوات المتوقعة في مجموعة بيانات، وتعمل مقابل نقطة نهاية HTTP للوكيل. وهذا مناسب لاختبار مسارات مثل رفض تقديم رقم الطلب أولًا ثم تقديمه لاحقًا، أو التحول من الاسترداد إلى الاستبدال. المستخدم المحاكى ليس عميلًا فعليًا، ومعدل اجتياز المحاكاة ليس معدل النجاح في الإنتاج.

لا يعني ذلك أن Galileo يفتقر إلى التجارب أو البيانات الاصطناعية. تدعم وثائق مجموعات البيانات مدخلات التجارب والمخرجات المتوقعة والأمثلة الاصطناعية. لكن توليد صفوف اختبار لا يعادل مستخدمًا يطرح أسئلة متابعة متتالية؛ ووثائق Maxim التي تحقّقنا منها هنا تصف سلوك هذه المحادثة وشروط توقفها بصورة أكثر تحديدًا. الفرق التي لديها محاكيها الخاص لا تحتاج إلى نقل نظام التقييم لمجرد إضافة واجهة أخرى.

اختبر اختيار الأداة ونجاح تنفيذها وانتهاء المحادثة كلًا على حدة

يميّز اختبار الأدوات في Maxim بين واجهات API أو الشيفرة القابلة للتنفيذ، وبين schema تُستخدم لاختبار الاختيار فقط. كما يسمح بتعديل ردود الأدوات يدويًا في Playground. يمكن الاستفادة من ذلك لإعداد ردود النجاح وانتهاء المهلة والرفض وفق قواعد العمل، لكن لا يصح استنتاج أن المنصة تستبدل النظام الخلفي الحقيقي تلقائيًا. في الاختبارات الجماعية، يظل على الفريق تثبيت الردود عبر نقاط نهاية معزولة أو طبقة تكييف للاختبار، لمنع عمليات الاسترداد المحاكاة من إحداث مدفوعات حقيقية.

يحتاج الانتهاء أيضًا إلى تعريف مستقل. تتيح المحاكاة المخصصة تحديد نموذج المحاكاة وسلوكها وشروط انتهائها، وتضيف أداة end_simulation تلقائيًا. تنهي هذه الأداة المحادثة المحاكاة، لكنها لا تصادق على نجاح العملية التجارية. سجّل الإحالة الصحيحة إلى موظف، وتخلي المستخدم، والوصول إلى حد الأدوار، واكتمال العملية، كلًا على حدة؛ ولا تحسب كل توقف للمحادثة على أنه حل للمشكلة.

يقيّم Tool Selection Quality في Galileo ملاءمة الأدوات ومعاملاتها، بينما يقيّم Tool Error وقوع خطأ أثناء التنفيذ. تعني true في الأول صحة الاختيار، وفي الثاني اكتشاف خطأ؛ لذا وحّد اتجاه القيم قبل تجميعها. كلاهما يستخدم حكم نموذج، ولا يحل محل سجل الاستردادات أو رموز حالة واجهات API.

مثلًا، إذا كان استعلام الطلب صحيحًا لكن واجهة API انتهت مهلتها، فأعطِ الأولوية لمسار التعافي والإحالة إلى موظف. وإذا نجحت الواجهة لكن الوكيل واصل إرسال طلب الاسترداد القديم، فافحص تحديث النية وإدارة الحالة. وإذا أخبر المستخدم بأن العملية اكتملت رغم عدم نجاحها، فتحقّق من تقييد الرد بنتائج الأدوات. يحتاج المهندس إلى نية كل دور ومعاملاته وردوده وتغيرات حالته، ويحتاج مسؤول العمل إلى تأكيد النتائج المسموح بها. انخفاض الدرجة الإجمالية قد يطلق تحقيقًا، لكنه لا يقرر وحده هل يجب تعديل التعليمات أم إصلاح التكامل.

أغنِ المحاكاة بإخفاقات الإنتاج بدل أن تستبدل بها أدلة الإنتاج

يفصل التقييم المباشر في Maxim بين session وtrace وspan: المحادثة الكاملة للحكم عبر الأدوار، والرد الواحد للجودة الموضعية، أما إعداد التقييم على مستوى span فيتم عبر SDK. وتتيح مقاييس تدفق السجلات في Galileo تفعيل تقييمات جاهزة أو مخصصة وضبط أخذ العينات حسب المقياس. كلاهما يحتاج إلى تسجيل سياق كافٍ قبل تحديد نطاق التقييم.

يمكن في Maxim إعداد مجموعات بيانات من السجلات والتصحيحات البشرية. ويوفر Galileo حقول generated_output وground_truth وmetric_ground_truth منفصلة لتمييز مخرجات التطبيق والإجابة المتوقعة والتقييم المتوقع. عند إعادة استخدام أمثلة الإخفاق، احتفظ بالمحادثة الأصلية للتشخيص، ثم استخرج شروط حدوث المشكلة والمسار المتوقع لإعادة التشغيل. لا تجعل المخرج الخاطئ الأصلي إجابة صحيحة، ولا تفترض أن استيراد السجلات يعيد بناء حالة النظام الخلفي.

ينبغي تركيز المراجعة البشرية على تعارض درجات النموذج مع حقائق الأدوات، والانتهاء المبكر، وتغيّر نية المستخدم، والوعود عالية المخاطر. تأكد من أن الإخفاق يعود فعلًا إلى الوكيل قبل إضافة متغيرات محاكاة مقابلة. إذا عاقب المقيم إحالة صحيحة إلى موظف، فأصلح قاعدة التقييم أولًا بدل دفع الوكيل إلى مواصلة التنفيذ طلبًا لدرجة أعلى. تتأثر عينات الإنتاج منخفضة الدرجات أيضًا بأخذ العينات وتكوين حركة الاستخدام. راجع المحادثات الطبيعية كذلك حتى لا تتعلم إصلاح المسارات التي تستقطب أكبر عدد من الشكاوى فقط.

احسب الميزانية حسب مسار المحادثة وافحص ضوابط التنفيذ بصورة مستقلة

يمكن لتجربة اختيار افتراضية أن تستخدم 20 سيناريو، مع 3 أنواع من ردود الأدوات لكل سيناريو وتكرار كل حالة 2 مرات، أي 120 محادثة محاكاة، بحد أقصى 8 أدوار لكل منها. الحد الأقصى البالغ 960 دورًا لا يعني 960 استدعاءً للنموذج؛ فهناك أيضًا توليد المستخدم المحاكى، والتخطيط الداخلي للوكيل، والمقيمون المتعددون، وإعادة المحاولة. سجّل بصورة منفصلة الرموز والتكاليف وعدد استدعاءات الأدوات ومدة المحادثة ووقت المراجعة البشرية، ثم أضف اشتراك المنصة وتخزين السجلات وغيرها من الرسوم المنطبقة. سرعة البوابة لا تحدد التكلفة الإجمالية للتقييم.

تحقق خصوصًا من المستوى الذي ينطبق عليه أخذ العينات. تنص وثائق Maxim على أن أخذ العينات وحدود المعدل يطبّقان على تقييم trace فقط؛ أما تقييم session فيظل يشمل كل جلسة. ويرسل Tool Selection Quality في Galileo طلبات متعددة إلى نموذج الحكم، ما يزيد التكلفة أيضًا. لذلك فإن ضبط أخذ العينات على 10% لا يجعل فاتورة اختبار المحادثات متعددة الأدوار كلها تساوي العُشر مباشرة.

حدود المنتجات مهمة أيضًا. يتناول هذا المقال منتج التقييم والمحاكاة من Maxim؛ أما Bifrost فهو بوابة للوصول إلى النماذج وحوكمتها، فلا تنقل شروطه المتعلقة بالمصدر المفتوح أو المجانية إلى خدمة التقييم. ويوفر Agent Control الحالي في Galileo بصورة منفصلة ضوابط للمدخلات والمخرجات أثناء تنفيذ سير العمل. جمع السجلات وتقييمها لا يعني أن الحظر قد أُعد بالفعل. إذا احتجت إلى الحظر أثناء التنفيذ، فتحقّق بصورة مستقلة من تكامل الضوابط وشروط تشغيلها وحالات الحظر الخاطئ وكيفية معالجة العمل بعد الإخفاق.

عند قبول نتائج المحادثات الـ120 المذكورة، يمكن اشتراط إدراج كل استرداد غير مصرح به وكل وعد كاذب بإتمام العملية في قائمة الحظر، مع عرض نسب النجاح والإحالة البشرية المتوافقة وفشل الأدوات وتجاوز حد الأدوار بصورة منفصلة. وللمقارنة قبل الإصلاح وبعده، ثبّت السيناريوهات وردود الأدوات وإعدادات الوكيل والمحاكي وقواعد التقييم، مع مراجعة بشرية للحالات المختلف عليها. تحدد مخاطر العمل العتبات المناسبة. هذه أساليب قبول مقترحة، وليست نتائج حققها المنتجان.

إذا كانت المشكلة الحالية هي عدم وجود مستخدمين صعبي الإرضاء بما يكفي لاختبار التغيرات عبر الأدوار، فابدأ بتجربة Maxim. وإذا كانت كثرة المحادثات السيئة مع العجز عن تحديد الخطوة التي أخفقت، فابدأ بتجربة Galileo. وإذا لم تُحدَّد بعد حالات نجاح العملية ونقاط نهاية اختبار معزولة وروابط المحادثات، فأكمل هذه الأسس قبل الشراء. النتيجة المفيدة هي حالة تحدد الدور الخاطئ وتعيد إنتاج ظروف الأدوات وتثبت فاعلية الإصلاح، لا مجرد متوسط درجات أعلى.

ملاحظة حول المحتوى:يستند هذا المقال إلى معلومات متاحة للعموم ويُعد مرجعًا للمساعدة في اختيار الأدوات. قد تتغير الميزات والأسعار والسياسات ذات الصلة في أي وقت، لذا يُرجى الرجوع إلى أحدث المعلومات الرسمية.

المصدر الأصلي:docs.galileo.ai