Banana

Banana est une plateforme d'hébergement d'inférence destinée aux équipes d'IA qui exécutent sur GPU des charges de modèles à haut débit. Elle ajuste automatiquement les réplicas GPU en fonction de l'évolution de la demande et applique une tarification au coût réel du calcul, associant les coûts d'infrastructure à des frais de plateforme fixes. La plateforme réunit le déploiement et l'exploitation dans un même flux de travail grâce à l'intégration GitHub, au CI/CD, à une CLI, aux déploiements progressifs, au traçage, aux journaux consultables, à l'analyse des requêtes et à l'analyse métier. Les équipes peuvent examiner le trafic, la latence, les erreurs, l'utilisation, l'usage des points de terminaison et les dépenses, tandis qu'une API ouverte, des SDK et une CLI permettent d'automatiser les déploiements. Banana utilise également le framework HTTP open source Potassium pour les backends conteneurisés personnalisés, ce qui permet aux développeurs d'utiliser des bibliothèques telles que PyTorch, TensorFlow et Hugging Face Transformers. L'offre Équipe présentée prend en charge jusqu'à 10 membres, 5 projets et 50 GPU en parallèle. Les organisations qui ont besoin de SAML SSO, de limites de GPU supérieures, de files d'attente personnalisables, de GPU pour le pipeline de compilation ou d'une assistance dédiée sont orientées vers l'offre Entreprise.