Banana

Banana ist eine Inferenzhosting-Plattform für KI-Teams, die GPU-basierte Modellworkloads mit hohem Durchsatz ausführen. Sie passt die Anzahl der GPU-Replikate automatisch an die veränderte Nachfrage an und berechnet Rechenleistung zum Selbstkostenpreis, kombiniert mit einer festen Plattformgebühr. Die Plattform führt Bereitstellung und Betrieb durch GitHub-Integration, CI/CD, eine CLI, schrittweise Bereitstellungen, Tracing, durchsuchbare Protokolle, Anfrageanalysen und Geschäftsanalysen in einem Arbeitsablauf zusammen. Teams können Datenverkehr, Latenz, Fehler, Auslastung, Endpunktnutzung und Ausgaben prüfen. Eine offene API, SDKs und die CLI unterstützen dabei die Automatisierung der Bereitstellung. Banana verwendet außerdem das quelloffene HTTP-Framework Potassium für benutzerdefinierte containerisierte Backends, sodass Entwickler Bibliotheken wie PyTorch, TensorFlow und Hugging Face Transformers einsetzen können. Der aufgeführte Team-Tarif unterstützt bis zu 10 Mitglieder, 5 Projekte und 50 parallele GPUs. Organisationen, die SAML SSO, höhere GPU-Grenzwerte, anpassbare Warteschlangen, GPUs für Build-Pipelines oder dedizierten Support benötigen, werden auf den Enterprise-Tarif verwiesen.