Banana
자동 확장, 배포 도구 및 내장 운영 분석을 제공하는 GPU 추론 호스팅입니다.
Banana 소개
Banana는 GPU에서 처리량이 높은 모델 워크로드를 실행하는 AI 팀을 위한 추론 호스팅 플랫폼입니다. 수요 변화에 따라 GPU 복제본을 자동으로 조정하며, 인프라 비용에 정액 플랫폼 요금을 결합한 컴퓨팅 원가 전가 방식의 가격 정책을 사용합니다. GitHub 통합, CI/CD, CLI, 롤링 배포, 추적, 검색 가능한 로그, 요청 분석 및 비즈니스 분석을 통해 배포와 운영을 하나의 워크플로로 통합합니다. 팀은 트래픽, 지연 시간, 오류, 사용률, 엔드포인트 사용량 및 지출을 확인할 수 있으며, 개방형 API, SDK 및 CLI를 통해 배포를 자동화할 수 있습니다. Banana는 맞춤형 컨테이너 백엔드를 위해 오픈 소스 Potassium HTTP 프레임워크도 사용하므로 개발자는 PyTorch, TensorFlow 및 Hugging Face Transformers 같은 라이브러리를 활용할 수 있습니다. 명시된 팀 요금제는 최대 10명의 구성원, 5개 프로젝트 및 50개의 병렬 GPU를 지원합니다. SAML SSO, 더 높은 GPU 한도, 맞춤 설정 가능한 대기열, 빌드 파이프라인 GPU 또는 전담 지원이 필요한 조직에는 엔터프라이즈 요금제가 안내됩니다.
기능
모델 추론 확장
처리량이 높은 추론 서비스를 실행하면서 요청 수요 변화에 따라 GPU 복제본을 자동으로 조정합니다.
프로덕션 엔드포인트 운영
플랫폼의 운영 화면에서 트래픽, 지연 시간, 오류, 사용률, 엔드포인트 사용량 및 지출을 모니터링합니다.
배포 워크플로 자동화
개방형 API, SDK, CLI, GitHub 통합, CI/CD, 브랜치 배포 및 환경을 사용해 릴리스를 관리합니다.
맞춤형 모델 백엔드 구축
PyTorch, TensorFlow 및 Hugging Face Transformers 같은 라이브러리를 사용하는 Potassium 애플리케이션을 컨테이너로 패키징합니다.
장점
- GPU 복제본 자동 확장을 통해 변화하는 요청 수요에 맞춰 용량을 조정할 수 있습니다.
- GitHub, CI/CD, CLI, 롤링 배포, 로그 및 추적 기능은 워크플로의 분산을 줄여 줍니다.
- 요청 분석과 비즈니스 분석은 엔드포인트 활동을 성능 및 지출과 연결합니다.
단점
- 팀 요금제는 컴퓨팅 요금이 추가되기 전 월 $1200입니다.
- 팀 요금제는 구성원 10명, 프로젝트 5개 및 병렬 GPU 50개로 제한됩니다.
- SAML SSO, 더 높은 GPU 한도, 맞춤 설정 가능한 대기열 및 전담 지원에는 엔터프라이즈 요금제가 필요합니다.
요금제
팀
- 팀 구성원 10명
- 프로젝트 5개
- 최대 병렬 GPU 50개
- 맞춤형 GPU 유형
- 로깅 및 검색
- 사용률 비율 기반 자동 확장
- 요청 분석
- 비즈니스 분석
- 브랜치 배포
- 환경
엔터프라이즈
- 팀 요금제의 모든 기능
- SAML SSO
- 자동화 API
- 더 높은 병렬 GPU 한도
- 맞춤 설정 가능한 추론 대기열
- 빌드 파이프라인 GPU
- 전담 지원
* 가격 정보는 참고용입니다. 최신 안내는 Banana 공식 웹사이트를 확인하세요.