ARBR
بوابة مفتوحة المصدر ومستضافة ذاتيًا لتوجيه طلبات AI وحوكمتها ومراقبتها
نبذة عن ARBR
يوفر ARBR نقطة نهاية موحدة متوافقة مع OpenAI تربط مزودي النماذج وتختار نماذج الطلبات باستخدام القواعد وحواجز التكلفة والاختيار الواعي بدرجة الصعوبة وآليات الرجوع الاحتياطي. ويدعم في مسار الطلب الميزانيات وحدود المعدل وحواجز المخرجات وفحوصات حقن المطالبات ومفتاح kill switch؛ كما يراقب الإنفاق والأداء والموثوقية حسب مزود الخدمة والنموذج والتطبيق وسير العمل والفريق والمستخدم، مع إمكانية الاستعلام عبر لوحة معلومات محلية أو التصدير إلى OpenTelemetry.
الأنسب لـ
أفضل حالات الاستخدام
توحيد الوصول إلى عدة مزودي نماذج
اختيار النماذج حسب تكلفة الطلب ودرجة صعوبته
فرض قواعد الميزانية والأمان في مسار الطلب
تحليل الاستدعاءات حسب الفريق والمستخدم
الميزات
اختيار النماذج الذكي
يختار نموذجًا لكل طلب باستخدام القواعد وحواجز التكلفة والاختيار الواعي بدرجة الصعوبة وآليات الرجوع الاحتياطي.
حوكمة مسار الطلب
يفرض الميزانيات وحدود المعدل وحواجز المخرجات وفحوصات حقن المطالبات ومفتاح kill switch في مسار الطلب.
قابلية مراقبة الاستدعاءات
يراقب الإنفاق والأداء والموثوقية حسب مزود الخدمة والنموذج والتطبيق وسير العمل والفريق والمستخدم.
تكاملات مفتوحة
يوفر نقطة نهاية متوافقة مع OpenAI والتضمينات ووكلاء الصوت في الوقت الفعلي وSDK الخاص بـ JavaScript وPython.
المزايا
- يوفر نقطة نهاية متوافقة مع OpenAI ويدعم الاستضافة الذاتية والحياد تجاه مزودي الخدمة.
- يمكن فرض الميزانيات وحدود المعدل وفحوصات الأمان في مسار الطلب.
- يدعم مراقبة الإنفاق والأداء والموثوقية عبر أبعاد أعمال متعددة، مع التصدير إلى OpenTelemetry.
القيود
- لم تُسلَّم بعد ميزة مجموعات البيانات الخاصة بالضبط الدقيق.