ARBR
Gateway de código abierto y autoalojado para el enrutamiento, la gobernanza y la observabilidad de solicitudes de AI
Acerca de ARBR
ARBR proporciona un endpoint unificado compatible con OpenAI que conecta proveedores de modelos y selecciona modelos para las solicitudes mediante reglas, barreras de coste, selección sensible a la dificultad y mecanismos de respaldo. En la ruta de solicitud, admite presupuestos, límites de velocidad, barreras de salida, comprobaciones de inyección de prompts y un kill switch; también observa el gasto, el rendimiento y la fiabilidad por proveedor, modelo, aplicación, flujo de trabajo, equipo y usuario, y permite consultarlos en un panel local o exportarlos a OpenTelemetry.
Ideal para
Mejores casos de uso
Unificar el acceso a varios proveedores de modelos
Seleccionar modelos según el coste y la dificultad de la solicitud
Aplicar reglas de presupuesto y seguridad en la ruta de solicitud
Analizar las llamadas por equipo y usuario
Funciones
Selección inteligente de modelos
Selecciona un modelo para cada solicitud mediante reglas, barreras de coste, selección sensible a la dificultad y mecanismos de respaldo.
Gobernanza de la ruta de solicitud
Aplica presupuestos, límites de velocidad, barreras de salida, comprobaciones de inyección de prompts y un kill switch en la ruta de solicitud.
Observabilidad de llamadas
Observa el gasto, el rendimiento y la fiabilidad por proveedor, modelo, aplicación, flujo de trabajo, equipo y usuario.
Integraciones abiertas
Proporciona un endpoint compatible con OpenAI, embeddings, agentes de voz en tiempo real y SDK de JavaScript y Python.
Ventajas
- Proporciona un endpoint compatible con OpenAI y admite el autoalojamiento y la neutralidad frente a proveedores.
- Los presupuestos, los límites de velocidad y las comprobaciones de seguridad pueden aplicarse en la ruta de solicitud.
- Permite observar el gasto, el rendimiento y la fiabilidad según varias dimensiones de negocio, con exportación a OpenTelemetry.
Limitaciones
- La función de conjuntos de datos para fine-tuning aún no se ha entregado.