Cerebrium
실시간 AI 워크로드의 배포와 자동 확장을 위한 서버리스 CPU 및 GPU 인프라입니다.
Cerebrium 소개
Cerebrium은 음성 에이전트, 대규모 언어 모델, 이미지 및 동영상 파이프라인과 기타 컨테이너화된 워크로드를 CPU 및 GPU 컴퓨팅에 배포하는 서버리스 AI 인프라입니다. 팀은 Python 애플리케이션이나 맞춤형 Dockerfile을 가져오고 vLLM, SGLang, TensorRT 같은 프레임워크를 선택하여 Kubernetes를 운영하지 않고도 워크로드를 확장할 수 있습니다. 이 플랫폼은 실시간 프로덕션 서비스를 위해 설계되었으며 1초 미만의 콜드 스타트, 온디맨드 자동 확장, 글로벌 리전, 초 단위 컴퓨팅 과금을 내세웁니다. 따라서 급증하는 트래픽에 대비해 용량을 상시 예약할 필요가 없습니다. 음성 팀은 네트워크 경유 횟수를 줄이기 위해 음성 인식, LLM, 음성 합성 단계를 같은 위치에 배치할 수 있으며, 미디어 및 LLM 팀은 최신 NVIDIA 및 AMD 가속기를 선택할 수 있습니다. 도입 후에도 컨테이너, 상태 확인 엔드포인트, 런타임 구성, 모델 동작, 사용 비용은 엔지니어링 팀이 관리해야 합니다. 무료 Hobby 워크스페이스는 제한적인 평가에 적합하며, Standard 및 맞춤형 Enterprise 플랜은 애플리케이션, 좌석, 보존 기간, 동시 실행, 지원, 규정 준수 옵션을 확대합니다. Cerebrium은 SOC 2 Type I, HIPAA, GDPR, ISO 규정 준수 관행도 문서화하며 관련 보고서는 신뢰 센터에서 제공합니다.
기능
실시간 음성 에이전트
음성 인식, LLM, 음성 합성 서비스를 같은 위치에 배포하여 지연 시간이 짧은 음성 상호작용을 구현합니다.
대규모 언어 모델 서빙
vLLM, SGLang, TensorRT 또는 맞춤형 추론 스택을 실행하고 글로벌 리전 전반에서 GPU를 자동 확장합니다.
이미지 및 동영상 파이프라인
온디맨드 NVIDIA 또는 AMD GPU 인프라에서 급증하는 생성 및 처리 워크로드를 확장합니다.
맞춤형 컨테이너 배포
상태 확인 및 준비 상태 엔드포인트를 명시한 맞춤형 Dockerfile을 통해 기존 Python 서비스나 컴파일된 애플리케이션을 배포합니다.
장점
- 초 단위 컴퓨팅 과금으로 유휴 용량에 대한 비용을 피할 수 있으며 트래픽이 불규칙한 워크로드에 적합합니다.
- 맞춤형 Dockerfile은 팀을 고정된 모델 런타임으로 제한하지 않고 이식 가능한 Python 또는 컴파일된 서비스를 지원합니다.
- 글로벌 자동 확장과 같은 위치에 배치된 CPU 및 GPU 워크로드는 지연 시간에 민감한 음성, LLM, 미디어 애플리케이션을 지원합니다.
- 공개된 SOC 2 Type I, HIPAA, GDPR, ISO 규정 준수 관행은 검토를 위한 구체적인 신뢰 기준을 제공합니다.
단점
- 사용량 기반 컴퓨팅의 최종 요금은 워크로드 규모와 선택한 CPU 또는 GPU 리소스에 따라 달라집니다.
- 맞춤형 컨테이너를 사용하려면 팀에서 포트, 시작 명령, 상태 확인, 종속성, 애플리케이션 동작을 구성해야 합니다.
- Hobby는 배포된 애플리케이션 3개, 좌석 3개, 7일 로그 보존으로 제한되며 CPU 및 GPU 동시 실행 한도가 더 낮습니다.
- Standard 워크스페이스는 좌석 10개, 30일 로그 보존, CPU 동시 실행 1000개, GPU 동시 실행 30개로 제한되며 그 이상은 Enterprise가 필요합니다.
요금제
Hobby
- 프로젝트 무제한
- 배포된 애플리케이션 3개
- 좌석 3개
- 7일 로그 보존
- CPU 동시 실행 최대 500개
- GPU 동시 실행 최대 5개
- 커뮤니티 지원
Standard
- 프로젝트 무제한
- 배포된 애플리케이션 무제한
- 좌석 10개
- 30일 로그 보존
- CPU 동시 실행 최대 1000개
- GPU 동시 실행 최대 30개
- 비공개 Slack 채널
Enterprise
- 볼륨 할인
- 동시 실행 GPU 무제한
- 전담 Slack 지원
- 밀착형 온보딩
- 머신러닝 엔지니어링 서비스
- 로그 보존 기간 무제한
* 가격 정보는 참고용입니다. 최신 안내는 Cerebrium 공식 웹사이트를 확인하세요.