ARBR
Passerelle open source auto-hébergée pour le routage, la gouvernance et l’observabilité des requêtes AI
À propos de ARBR
ARBR fournit un point de terminaison unifié compatible avec OpenAI, qui connecte les fournisseurs de modèles et sélectionne les modèles pour les requêtes à l’aide de règles, de garde-fous de coût, d’une sélection tenant compte de la difficulté et de mécanismes de repli. Dans le chemin de requête, il prend en charge les budgets, limites de débit, garde-fous de sortie, contrôles d’injection de prompt et un kill switch. Il observe également les dépenses, les performances et la fiabilité par fournisseur, modèle, application, workflow, équipe et utilisateur, avec consultation dans un tableau de bord local ou export vers OpenTelemetry.
Idéal pour
Meilleurs cas d'utilisation
Unifier l’accès à plusieurs fournisseurs de modèles
Sélectionner les modèles selon le coût et la difficulté de la requête
Appliquer les règles de budget et de sécurité dans le chemin de requête
Analyser les appels par équipe et par utilisateur
Fonctionnalités
Sélection intelligente des modèles
Sélectionne un modèle pour chaque requête à l’aide de règles, de garde-fous de coût, d’une sélection tenant compte de la difficulté et de mécanismes de repli.
Gouvernance du chemin de requête
Applique les budgets, limites de débit, garde-fous de sortie, contrôles d’injection de prompt et un kill switch dans le chemin de requête.
Observabilité des appels
Observe les dépenses, les performances et la fiabilité par fournisseur, modèle, application, workflow, équipe et utilisateur.
Intégrations ouvertes
Fournit un point de terminaison compatible avec OpenAI, des embeddings, des agents vocaux en temps réel, ainsi que les SDK JavaScript et Python.
Avantages
- Fournit un point de terminaison compatible avec OpenAI et prend en charge l’auto-hébergement ainsi que la neutralité vis-à-vis des fournisseurs.
- Les budgets, limites de débit et contrôles de sécurité peuvent être appliqués dans le chemin de requête.
- Permet d’observer les dépenses, les performances et la fiabilité selon plusieurs dimensions métier, avec export vers OpenTelemetry.
Limites
- La fonctionnalité de jeu de données pour le fine-tuning n’a pas encore été livrée.