Humanloop
プロンプト管理、LLMシステムの評価、本番環境での挙動観測に使われていた、現在は提供終了済みの企業向けワークスペースです。
HumanloopチームはAnthropicに加わり、Humanloopプラットフォームの提供を終了しました。
Humanloopについて
Humanloopは、大規模言語モデルを利用したアプリケーションを開発・評価するための企業向けプラットフォームでした。このワークスペースは、プロンプト管理、複数モデル対応のプレイグラウンド、バージョン追跡、データセット、オフラインおよびオンライン評価、人的レビュー、CI/CD評価、トレース、監視、ログ、アラート、エンドユーザーのフィードバックを1つの共同作業環境に統合していました。企業向け管理機能には、SSOとSAML、ロールベースのアクセス制御、地域別ホスティング、サービスレベル契約、オプションのVPCデプロイが含まれていました。チームがAnthropicへ移ったことに伴い、現在プラットフォームは終了しています。課金は2025年7月30日に停止され、サービスとアカウントデータは2025年9月8日に完全削除される予定でした。そのためHumanloopは、かつてのワークフローを知るための参考にはなりますが、新規デプロイの選択肢にはなりません。
機能
プロンプト管理と統制されたリリース
チームはプロンプトを共同編集し、複数のLLM間で出力を比較し、すべてのバージョンを追跡できました。さらに、タグ付きバージョンを公開することで、製品担当者とエンジニアが共通のリリース履歴に基づいて作業できました。
デプロイ前後の評価
チームはバージョン管理されたデータセットに対してオフラインおよびオンライン評価を実行し、コードまたはモデルによる判定と人的レビューを組み合わせ、評価レポートをCI/CDのリリースチェックに連携できました。
本番環境のトレースとフィードバック
運用担当者はLLMのトレースとログを確認し、稼働中の挙動を監視してアラートを設定できました。また、エンドユーザーのフィードバックを、各応答を生成したプロンプトおよびモデルのバージョンに関連付けられました。
長所
- プロンプト管理、評価、可観測性を1つのワークフローに統合していました。
- SSO、ロール権限、地域別ホスティング、オプションのVPCデプロイなど、企業向け管理機能に対応していました。
- リリースチェック用の自動評価、人的レビュー、CI/CD連携が含まれていました。
短所
- プラットフォームは終了しているため、チームが新たな本番デプロイに採用することはできません。
- 従来のトライアルは、メンバー2名、評価実行50回、月間ログ10,000件に制限されており、本格的なチームテストには不十分でした。
- 企業向けのデプロイとサポートには営業担当者との相談が必要で、VPCデプロイは追加オプションでした。
料金プラン
無料で試す
- メンバー2名
- 評価実行50回
- 月間ログ10,000件
エンタープライズ
- SSOとSAML
- ロールベースのアクセス制御
- SLA付きの実践的サポート
- オプションのVPCデプロイ
* 料金情報は参考用です。最新情報はHumanloop公式サイトのお知らせをご確認ください。