ARBR
Open-Source-Self-Hosting-Gateway für AI-Anfragerouting, Governance und Beobachtung
Über ARBR
ARBR bietet einen einheitlichen OpenAI-kompatiblen Endpunkt, der Modellanbieter verbindet und anhand von Regeln, Kostenleitplanken, schwierigkeitsbewusster Auswahl und Fallback-Mechanismen Modelle für Anfragen auswählt. Im Anfragepfad unterstützt es Budgets, Ratenlimits, Ausgabeleitplanken, Prüfungen auf Prompt-Injection und einen kill switch. Außerdem beobachtet es Ausgaben, Leistung und Zuverlässigkeit nach Anbieter, Modell, Anwendung, Workflow, Team und Nutzer und ermöglicht Abfragen im lokalen Dashboard oder den Export zu OpenTelemetry.
Am besten geeignet
Beste Einsatzszenarien
Zugriff auf mehrere Modellanbieter vereinheitlichen
Modelle nach Anfragekosten und Schwierigkeitsgrad auswählen
Budget- und Sicherheitsregeln im Anfragepfad durchsetzen
Aufrufe nach Team und Nutzer analysieren
Funktionen
Intelligente Modellauswahl
Wählt für jede Anfrage anhand von Regeln, Kostenleitplanken, schwierigkeitsbewusster Auswahl und Fallback-Mechanismen ein Modell aus.
Governance im Anfragepfad
Setzt Budgets, Ratenlimits, Ausgabeleitplanken, Prüfungen auf Prompt-Injection und einen kill switch im Anfragepfad durch.
Aufrufbeobachtung
Beobachtet Ausgaben, Leistung und Zuverlässigkeit nach Anbieter, Modell, Anwendung, Workflow, Team und Nutzer.
Offene Integrationen
Bietet einen OpenAI-kompatiblen Endpunkt, Embeddings, Echtzeit-Sprachagenten sowie JavaScript- und Python-SDKs.
Vorteile
- Bietet einen OpenAI-kompatiblen Endpunkt und unterstützt Self-Hosting sowie Anbieterneutralität.
- Budgets, Ratenlimits und Sicherheitsprüfungen können im Anfragepfad durchgesetzt werden.
- Ermöglicht die Beobachtung von Ausgaben, Leistung und Zuverlässigkeit nach mehreren Geschäftsdimensionen sowie den Export zu OpenTelemetry.
Nachteile
- Die Dataset-Funktion für Fine-Tuning wurde noch nicht bereitgestellt.