EvalCore
تسجل السلوك الحقيقي لتطبيقات الذكاء الاصطناعي وتعيد تشغيله دون اتصال في CI، لتساعدك على اكتشاف التراجعات الناتجة عن التغييرات قبل المستخدمين.
نبذة عن EvalCore
EvalCore هي أداة مفتوحة المصدر بترخيص Apache-2.0 لتقييم تطبيقات الذكاء الاصطناعي: بعد تغيير المطالبات أو تبديل النماذج أو ترقية التبعيات، تسجل السلوك الحقيقي للذكاء الاصطناعي وتقارنه بخط الأساس لاكتشاف التراجعات قبل المستخدمين. يمكن أن تكون أي خدمة تدعم HTTP أو shell هدفًا للتقييم، من دون SDK وبغض النظر عن لغة البرمجة. في التشغيل الأول، تستدعي النموذج الحقيقي وتسجل الطلبات والاستجابات في cassette محلي من SQLite؛ وبعد ذلك يعيد كل PR تشغيلها دون اتصال في CI، من دون مفتاح API، بحيث تنتج المدخلات المتطابقة الاستنتاج نفسه، ومع --baseline main تفشل عند التراجعات فقط. الأداة ملف ثنائي واحد بلا تبعيات، ولا تحتاج إلى قياس عن بُعد أو تسجيل أو خادم؛ وتذكر الصفحة الرسمية أن استخدام CI تكلفته $0.
الأنسب لـ
أفضل حالات الاستخدام
التحقق من تراجع سلوك تطبيق الذكاء الاصطناعي بعد تغيير مطالبة أو نموذج
إنشاء بوابة تراجع دون اتصال لطلبات PR كي تفشل CI عند ظهور تدهور فقط
إنشاء مجموعات بيانات للتقييم لخدمات يمكن الوصول إليها عبر HTTP أو shell
تتبع استخدام الرموز والتكلفة لكل تشغيل للتقييم
الميزات
تسجيل السلوك
في التشغيل الأول، يستدعي النموذج الحقيقي ويسجل كل طلب واستجابة في cassette محلي من SQLite، ويلخص استخدام الرموز والتكلفة.
الإعادة دون اتصال
في CI، يعيد تشغيل cassette دون الوصول إلى الشبكة أو مفتاح API؛ وتنتج المدخلات المتطابقة دائمًا استنتاجات متطابقة.
بوابة خط الأساس
يقارن بخط الأساس باستخدام --baseline main ويفشل عند حدوث تراجعات فقط؛ وتستخدم CI رمز الخروج كبوابة.
توافق واسع
يدعم OpenAI وvLLM وOllama وأي بوابة متوافقة مع OpenAI وواجهة REST الخاصة بك وأوامر shell وتتبع OTel / OpenInference.
المزايا
- ملف ثنائي واحد بلا تبعيات ويمكن استخدامه مع أي لغة
- تضمن الإعادة دون اتصال أن تنتج المدخلات المتطابقة الاستنتاج نفسه، مما يتجنب تذبذب التقييم
- مفتوح المصدر بترخيص Apache-2.0؛ وتذكر الصفحة الرسمية أن استخدام CI تكلفته $0
- لا يحتاج إلى قياس عن بُعد أو تسجيل أو خادم