Banana

Banana は、GPU 上で高スループットのモデルワークロードを実行する AI チーム向けの推論ホスティングプラットフォームです。需要の変化に応じて GPU レプリカを自動調整し、インフラコストに定額のプラットフォーム料金を組み合わせた、コンピューティング原価のパススルー方式を採用しています。GitHub 連携、CI/CD、CLI、ローリングデプロイ、トレーシング、検索可能なログ、リクエスト分析、ビジネス分析を通じて、デプロイと運用を一つのワークフローに統合します。チームはトラフィック、レイテンシ、エラー、使用率、エンドポイント利用状況、支出を確認でき、オープン API、SDK、CLI によりデプロイを自動化できます。Banana はカスタムコンテナバックエンド向けにオープンソースの Potassium HTTP フレームワークも使用しており、開発者は PyTorch、TensorFlow、Hugging Face Transformers などのライブラリを利用できます。掲載されているチームプランは最大 10 人、5 プロジェクト、50 個の並列 GPU に対応します。SAML SSO、より大きな GPU 上限、カスタマイズ可能なキュー、ビルドパイプライン用 GPU、専任サポートが必要な組織にはエンタープライズプランが案内されます。