Galileo

Galileo est une plateforme d’observabilité et d’évaluation de l’IA destinée aux équipes qui développent des applications et des agents d’IA générative. Elle réunit les jeux de données de développement, les traces de production, les résultats des évaluateurs et les commentaires des réviseurs dans un même flux de travail afin d’aider les équipes à repérer les schémas d’échec et à décider des correctifs prioritaires. Elle propose plus de 20 évaluations prêtes à l’emploi pour le RAG, les agents, la sûreté et la sécurité, ainsi que des évaluateurs personnalisés pour les exigences propres à chaque domaine. Les réviseurs peuvent corriger les scores et utiliser Autotune pour revoir les prompts des évaluateurs ; Galileo indique que, dans les cas présentés, cinq corrections peuvent améliorer la précision de l’évaluateur jusqu’à 17 %. Les évaluations optimisées peuvent être distillées dans des modèles Luna et utilisées comme garde-fous en production. Selon l’entreprise, cette approche permet de surveiller l’ensemble du trafic à un coût inférieur de 96 %. L’offre gratuite convient aux expérimentations, avec 5,000 traces par mois, un nombre illimité d’utilisateurs et d’évaluations personnalisées. Pro débute à $100 par mois avec une facturation annuelle et porte le quota à 50,000 traces, tandis que l’augmentation de l’usage peut faire évoluer le prix. Les clients Enterprise peuvent demander un déploiement hébergé, dans un VPC ou sur site, ainsi que des contrôles d’accès renforcés, une assistance dédiée et un nombre illimité de traces. Galileo convient aux équipes qui souhaitent réunir l’évaluation, le débogage, la surveillance et les garde-fous sur une seule plateforme, mais il faut vérifier le volume de traces, les exigences de déploiement et les besoins d’assistance avant de choisir une offre payante.