ARBR
Gateway de código aberto e hospedagem própria para roteamento, governança e observabilidade de solicitações de AI
Sobre ARBR
O ARBR oferece um endpoint unificado compatível com OpenAI que conecta provedores de modelos e seleciona modelos para as solicitações usando regras, barreiras de custo, seleção sensível à dificuldade e mecanismos de fallback. No caminho da solicitação, oferece suporte a orçamentos, limites de taxa, barreiras de saída, verificações de injeção de prompt e um kill switch; também observa gastos, desempenho e confiabilidade por provedor, modelo, aplicação, fluxo de trabalho, equipe e usuário, com consulta em um painel local ou exportação para o OpenTelemetry.
Ideal para
Melhores casos de uso
Unificar o acesso a vários provedores de modelos
Selecionar modelos pelo custo e pela dificuldade da solicitação
Aplicar regras de orçamento e segurança no caminho da solicitação
Analisar chamadas por equipe e usuário
Funcionalidades
Seleção inteligente de modelos
Seleciona um modelo para cada solicitação usando regras, barreiras de custo, seleção sensível à dificuldade e mecanismos de fallback.
Governança do caminho da solicitação
Aplica orçamentos, limites de taxa, barreiras de saída, verificações de injeção de prompt e um kill switch no caminho da solicitação.
Observabilidade de chamadas
Observa gastos, desempenho e confiabilidade por provedor, modelo, aplicação, fluxo de trabalho, equipe e usuário.
Integrações abertas
Oferece um endpoint compatível com OpenAI, embeddings, agentes de voz em tempo real e SDKs de JavaScript e Python.
Vantagens
- Oferece um endpoint compatível com OpenAI e é compatível com hospedagem própria e neutralidade de provedores.
- Orçamentos, limites de taxa e verificações de segurança podem ser aplicados no caminho da solicitação.
- Permite observar gastos, desempenho e confiabilidade em várias dimensões de negócio, com exportação para o OpenTelemetry.
Limitações
- O recurso de conjuntos de dados para fine-tuning ainda não foi entregue.