Cerebrium
リアルタイムAIワークロードのデプロイと自動スケーリングに対応するサーバーレスCPU・GPUインフラストラクチャ。
Cerebriumについて
Cerebriumは、音声エージェント、大規模言語モデル、画像・動画パイプライン、その他のコンテナ化ワークロードをCPUおよびGPUコンピューティング上にデプロイするためのサーバーレスAIインフラストラクチャです。チームはPythonアプリケーションやカスタムDockerfileを持ち込み、vLLM、SGLang、TensorRTなどのフレームワークを選択し、Kubernetesを運用することなくワークロードを拡張できます。このプラットフォームはリアルタイムの本番サービス向けに設計されており、1秒未満のコールドスタート、オンデマンドの自動スケーリング、グローバルリージョン、秒単位課金のコンピューティングを掲げているため、急増するトラフィックのために容量を常時予約する必要がありません。音声チームは音声認識、LLM、音声合成の各処理を同じ場所に配置してネットワーク経由回数を減らせます。一方、メディアおよびLLMチームは最新のNVIDIAやAMDアクセラレーターを選択できます。導入後も、コンテナ、ヘルスエンドポイント、ランタイム設定、モデルの動作、利用コストについてはエンジニアリングチームが責任を持つ必要があります。無料のHobbyワークスペースは限定的な評価に適しており、StandardおよびカスタムのEnterpriseプランでは、アプリケーション、シート数、保持期間、同時実行数、サポート、コンプライアンスの選択肢が拡充されます。CerebriumはSOC 2 Type I、HIPAA、GDPR、ISOへの準拠方針も文書化しており、レポートはトラストセンターから入手できます。
機能
リアルタイム音声エージェント
音声認識、LLM、音声合成サービスを同じ場所にデプロイし、低遅延の音声対話を実現します。
大規模言語モデルの提供
vLLM、SGLang、TensorRT、またはカスタム推論スタックを実行し、グローバルリージョンにまたがってGPUを自動スケーリングします。
画像・動画パイプライン
オンデマンドのNVIDIAまたはAMD GPUインフラストラクチャ上で、突発的な生成・処理ワークロードを拡張します。
カスタムコンテナのデプロイ
カスタムDockerfileを通じ、ヘルスエンドポイントと準備完了エンドポイントを明示して、既存のPythonサービスやコンパイル済みアプリケーションを提供できます。
長所
- 秒単位課金のコンピューティングにより、アイドル容量への支払いを避けられ、トラフィックが不均一なワークロードに適しています。
- カスタムDockerfileは、チームを固定されたモデルランタイムに制限せず、移植可能なPythonサービスやコンパイル済みサービスをサポートします。
- グローバルな自動スケーリングと同一拠点に配置したCPU・GPUワークロードにより、遅延に敏感な音声、LLM、メディアアプリケーションを支援します。
- 公開されているSOC 2 Type I、HIPAA、GDPR、ISOの準拠方針は、審査のための具体的な信頼基準になります。
短所
- 従量制コンピューティングの最終料金は、ワークロード量と選択したCPUまたはGPUリソースによって変わります。
- カスタムコンテナでは、ポート、起動コマンド、ヘルスチェック、依存関係、アプリケーションの動作をチームが設定する必要があります。
- Hobbyは、デプロイ済みアプリケーション3件、3シート、ログ保持7日間に限られ、CPUとGPUの同時実行上限も低く設定されています。
- Standardのワークスペースは10シート、ログ保持30日間、CPU同時実行数1000、GPU同時実行数30に制限され、それを超える場合はEnterpriseが必要です。
料金プラン
Hobby
- プロジェクト数無制限
- デプロイ済みアプリケーション3件
- 3シート
- ログ保持7日間
- CPU同時実行数は最大500
- GPU同時実行数は最大5
- コミュニティサポート
Standard
- プロジェクト数無制限
- デプロイ済みアプリケーション数無制限
- 10シート
- ログ保持30日間
- CPU同時実行数は最大1000
- GPU同時実行数は最大30
- 非公開Slackチャンネル
Enterprise
- ボリュームディスカウント
- 同時実行GPU数無制限
- 専用Slackサポート
- 手厚い導入支援
- 機械学習エンジニアリングサービス
- ログ保持期間無制限
* 料金情報は参考用です。最新情報はCerebrium公式サイトのお知らせをご確認ください。