Galileo

Galileo ist eine Plattform für KI-Observability und -Evaluation für Teams, die generative KI-Anwendungen und Agenten entwickeln. Sie führt Entwicklungsdatensätze, Produktionstraces, Ergebnisse von Evaluatoren und Feedback von Prüfenden in einem Workflow zusammen, damit Teams Fehlermuster erkennen und über notwendige Korrekturen entscheiden können. Die Plattform unterstützt mehr als 20 vorgefertigte Evaluationen für RAG, Agenten, Sicherheit und IT-Sicherheit sowie benutzerdefinierte Evaluatoren für domänenspezifische Anforderungen. Prüfende können Bewertungen korrigieren und mit Autotune die Prompts der Evaluatoren überarbeiten. Galileo gibt an, dass fünf Korrekturen die Genauigkeit des Evaluators in den gezeigten Fällen um bis zu 17 % verbessern können. Optimierte Evaluationen lassen sich in Luna-Modelle destillieren und als Guardrails im Produktivbetrieb einsetzen. Nach Angaben des Unternehmens kann dieser Ansatz den gesamten Datenverkehr zu 96 % niedrigeren Kosten überwachen. Der kostenlose Tarif eignet sich für Experimente und umfasst monatlich 5,000 Traces, unbegrenzt viele Nutzer und unbegrenzt viele benutzerdefinierte Evaluationen. Pro beginnt bei jährlicher Abrechnung bei $100 pro Monat und erhöht das Kontingent auf 50,000 Traces, wobei eine nutzungsbasierte Skalierung den Preis steigern kann. Enterprise-Kunden können gehostete, VPC- oder lokale Bereitstellung, stärkere Zugriffskontrollen, dedizierten Support und unbegrenzt viele Traces anfordern. Galileo eignet sich für Teams, die Evaluation, Debugging, Überwachung und Guardrails auf einer Plattform vereinen möchten. Vor der Wahl eines kostenpflichtigen Tarifs sollten sie jedoch Trace-Volumen, Bereitstellungsanforderungen und Supportbedarf prüfen.