Galileo

Galileo は、生成 AI アプリケーションやエージェントを構築するチーム向けの AI オブザーバビリティおよび評価プラットフォームです。開発用データセット、本番トレース、評価器の結果、レビュアーのフィードバックを単一のワークフローにまとめ、障害パターンの発見と修正対象の判断を支援します。RAG、エージェント、安全性、セキュリティ向けに 20 種類を超える既製の評価を提供し、分野固有の要件に対応するカスタム評価器も利用できます。レビュアーはスコアを修正し、Autotune で評価器のプロンプトを改訂できます。Galileo によると、提示された事例では、5 回の修正で評価器の精度が最大 17% 向上しました。最適化した評価は Luna モデルに蒸留して本番環境のガードレールとして使用でき、同社は、この方法なら全トラフィックを 96% 低いコストで監視できるとしています。無料プランは実験に適しており、毎月 5,000 件のトレース、ユーザー数無制限、カスタム評価数無制限を利用できます。Pro は年払いの場合、月額 $100 からで、上限が 50,000 件のトレースに増えますが、従量制の拡張によって価格が上がる場合があります。Enterprise では、ホステッド、VPC、オンプレミスの各導入形態に加え、より強力なアクセス制御、専任サポート、無制限のトレースを依頼できます。Galileo は評価、デバッグ、監視、ガードレールを一つのプラットフォームにまとめたいチームに適していますが、有料プランを選ぶ前に、トレース量、導入要件、サポート要件を確認する必要があります。