Banana
Hospedagem de inferência em GPU com escalonamento automático, ferramentas de implantação e análises operacionais integradas.
Sobre Banana
Banana é uma plataforma de hospedagem de inferência para equipes de IA que executam cargas de trabalho de modelos de alto rendimento em GPUs. Ela ajusta automaticamente as réplicas de GPU conforme a demanda muda e utiliza preços de computação repassados pelo custo, combinando os custos de infraestrutura com uma tarifa fixa da plataforma. A plataforma reúne implantação e operações em um único fluxo de trabalho por meio da integração com GitHub, CI/CD, uma CLI, implantações graduais, rastreamento, logs pesquisáveis, análise de solicitações e análise de negócios. As equipes podem examinar tráfego, latência, erros, utilização, uso de endpoints e gastos, enquanto uma API aberta, SDKs e a CLI permitem automatizar implantações. Banana também usa o framework HTTP de código aberto Potassium para backends personalizados em contêineres, permitindo que os desenvolvedores utilizem bibliotecas como PyTorch, TensorFlow e Hugging Face Transformers. O plano Equipe apresentado comporta até 10 membros, 5 projetos e 50 GPUs em paralelo. Organizações que precisam de SAML SSO, limites maiores de GPU, filas personalizáveis, GPUs para o pipeline de compilação ou suporte dedicado são direcionadas ao plano Empresarial.
Funcionalidades
Escalonar a inferência de modelos
Execute serviços de inferência de alto rendimento enquanto ajusta automaticamente as réplicas de GPU conforme a demanda de solicitações muda.
Operar endpoints de produção
Monitore tráfego, latência, erros, utilização, uso de endpoints e gastos nas visualizações operacionais da plataforma.
Automatizar fluxos de implantação
Use a API aberta, SDKs, CLI, integração com GitHub, CI/CD, implantações de branches e ambientes para gerenciar lançamentos.
Criar backends de modelos personalizados
Empacote em contêineres aplicações Potassium que utilizam bibliotecas como PyTorch, TensorFlow e Hugging Face Transformers.
Vantagens
- O escalonamento automático de réplicas de GPU pode alinhar a capacidade às mudanças na demanda de solicitações.
- GitHub, CI/CD, CLI, implantações graduais, logs e rastreamento reduzem a fragmentação do fluxo de trabalho.
- As análises de solicitações e de negócios conectam a atividade dos endpoints ao desempenho e aos gastos.
Limitações
- O plano Equipe custa $1200 por mês antes da adição das cobranças de computação.
- O plano Equipe é limitado a 10 membros, 5 projetos e 50 GPUs em paralelo.
- SAML SSO, limites maiores de GPU, filas personalizáveis e suporte dedicado exigem o plano Empresarial.
Planos de preços
Equipe
- 10 membros da equipe
- 5 projetos
- Máximo de 50 GPUs em paralelo
- Tipos de GPU personalizados
- Registro e pesquisa
- Escalonamento automático por percentual de utilização
- Análise de solicitações
- Análise de negócios
- Implantações de branches
- Ambientes
Empresarial
- Tudo do plano Equipe
- SAML SSO
- API de automação
- Limites maiores de GPUs em paralelo
- Filas de inferência personalizáveis
- GPUs para o pipeline de compilação
- Suporte dedicado
* As informações de preços são apenas indicativas. Consulte o anúncio mais recente no site oficial de Banana.