关于 Banana
Banana 是一个面向 AI 团队的推理托管平台，适用于在 GPU 上运行高吞吐量模型工作负载。它会随需求变化自动调整 GPU 副本数量，并采用计算资源成本直通定价，将基础设施成本与固定平台费相结合。该平台通过 GitHub 集成、CI/CD、CLI、滚动部署、追踪、可搜索日志、请求分析和业务分析，将部署与运维整合到同一工作流中。团队可以查看流量、延迟、错误、利用率、端点使用情况和支出，同时利用开放 API、SDK 和 CLI 实现部署自动化。Banana 还使用开源 Potassium HTTP 框架构建自定义容器化后端，让开发者能够使用 PyTorch、TensorFlow 和 Hugging Face Transformers 等库。列出的团队方案最多支持 10 名成员、5 个项目和 50 个并行 GPU；需要 SAML SSO、更高 GPU 限额、可自定义队列、构建流水线 GPU 或专属支持的组织需选择企业方案。
适合人群
适合场景
承载需求波动较大的模型推理工作负载
通过 GitHub 与 CI/CD 管理 GPU 端点发布
跟踪请求性能、端点用量和基础设施支出
对比选择
算力按成本计费，可减少 GPU 使用环节的服务商加价
Team 方案由固定月费和按成本计费的算力费用组成
Enterprise 增加 SAML SSO、更高额度、可定制队列和专属支持
功能特性
扩展模型推理
运行高吞吐量推理服务，并随请求需求变化自动调整 GPU 副本数量。
运维生产端点
通过平台的运营视图监控流量、延迟、错误、利用率、端点使用情况和支出。
自动化部署工作流
使用开放 API、SDK、CLI、GitHub 集成、CI/CD、分支部署和环境来管理发布。
构建自定义模型后端
将使用 PyTorch、TensorFlow 和 Hugging Face Transformers 等库的 Potassium 应用打包到容器中。
优点
- GPU 副本自动扩缩容可使容量适应不断变化的请求需求。
- GitHub、CI/CD、CLI、滚动部署、日志和追踪功能可减少工作流割裂。
- 请求分析和业务分析将端点活动与性能及支出关联起来。
缺点
- 团队方案每月费用为 $1200，另需支付计算资源费用。
- 团队方案最多支持 10 名成员、5 个项目和 50 个并行 GPU。
- SAML SSO、更高 GPU 限额、可自定义队列和专属支持仅企业方案提供。
价格方案
团队
- 10 名团队成员
- 5 个项目
- 最多 50 个并行 GPU
- 自定义 GPU 类型
- 日志记录与搜索
- 按利用率百分比自动扩缩容
- 请求分析
- 业务分析
- 分支部署
- 环境
企业
- 包含团队方案的全部功能
- SAML SSO
- 自动化 API
- 更高的并行 GPU 限额
- 可自定义推理队列
- 构建流水线 GPU
- 专属支持
* 价格信息仅供参考，请以Banana官网最新公告为准。