Freeplay
Eine Betriebsplattform zum Beobachten, Bewerten und Testen von LLM-Produkten, die Prompt-, Datensatz- und Prüfabläufe in einem System vereint.
Über Freeplay
Freeplay bietet Teams, die LLM-Produkte entwickeln, einen zentralen Ort, um das Verhalten in der Produktion zu beobachten, Bewertungen durchzuführen, Änderungen offline zu testen sowie Prompts, Modelle, Datensätze und menschliche Prüfungen zu verwalten. Die Beobachtbarkeitsansichten ermöglichen den Wechsel zwischen einzelnen Generierungen, mehrstufigen Traces und vollständigen Benutzersitzungen. Kosten, Latenz, Nutzung, Feedback und Bewertungsergebnisse werden gemeinsam dargestellt. So können Teams das nächste Experiment anhand des tatsächlichen Produktionsverhaltens auswählen. Die anpassbare Testumgebung unterstützt Vergleiche von Prompts und Modellen, während Datensätze diese Prüfungen vor der Veröffentlichung wiederholbar machen. Freeplay funktioniert mit gängigen Anbietern wie OpenAI, Anthropic, Google Vertex, AWS Bedrock und Groq. Unternehmenskunden können außerdem selbst gehostete Modelle verwenden. Diese Lösung eignet sich für Entwicklungs- und Produktteams, die Überwachung und Tests in denselben Verbesserungszyklus einbinden möchten. Der kostenlose Tarif deckt ein Projekt und eine moderate Nutzung ab. Teams, die mehr Projekte oder Volumen benötigen, sollten mit Growth-Preisen ab $500 pro Monat rechnen, während Enterprise ein individuelles Angebot erfordert.
Funktionen
Beobachtbarkeit in der Produktion
Untersuchen Sie Generierungen, Traces und Sitzungen, um Qualitätsprobleme, Latenzengpässe, Kostenverschiebungen und Nutzungsmuster zu erkennen.
Bewertungsabläufe
Führen Sie automatisierte Bewertungen durch und kombinieren Sie deren Ergebnisse mit menschlichen Kennzeichnungen und benutzerdefinierten Metriken in einer gemeinsamen Ansicht.
Offline-Tests
Testen Sie Prompt- oder Modelländerungen anhand von Datensätzen, bevor sie Produktionsbenutzer erreichen.
Prompt- und Modellverwaltung
Organisieren Sie Prompt-Versionen und vergleichen Sie unterstützte Modelle in einer anpassbaren Testumgebung.
Menschliche Prüfung
Leiten Sie Beispiele durch Kennzeichnungs- und Prüfabläufe, damit Teamfeedback zu strukturierten Bewertungsdaten wird.
Vorteile
- Der Tarif für $0 bietet kleinen Teams ohne anfängliches Abonnement ein Projekt, 10,000 monatliche Generierungen und eine Datenspeicherung von 90 Tagen.
- Die Beobachtbarkeit umfasst Generierungen, Traces und Sitzungen, sodass Teams sowohl einzelne Aufrufe als auch mehrstufiges Agentenverhalten untersuchen können.
- Die Unterstützung gängiger Modellanbieter verringert den Aufwand, wenn ein Team OpenAI, Anthropic, Google Vertex, AWS Bedrock oder Groq vergleicht.
- Bewertungen, Datensätze, Experimente und menschliche Prüfungen nutzen einen gemeinsamen Ablauf, wodurch Übergaben zwischen separaten Werkzeugen reduziert werden.
Nachteile
- Growth beginnt bei $500 pro Monat, was für ein Team, das über den kostenlosen Tarif hinauswächst, einen erheblichen Kostensprung bedeuten kann.
- Der kostenlose Tarif ist auf ein Projekt und 10 Testläufe pro Monat beschränkt, was häufige Experimente über mehrere Anwendungen hinweg einschränkt.
- Die Enterprise-Preise werden individuell festgelegt. Käufer müssen daher zunächst mit dem Vertrieb sprechen, bevor sie die vollständigen Bereitstellungskosten abschätzen können.
- Selbst gehostete Modelle und flexible Bereitstellungsoptionen sind Enterprise vorbehalten, wodurch die Infrastrukturwahl in niedrigeren Tarifen eingeschränkt ist.
Preispläne
Free
- Unbegrenzte Anzahl von Teammitgliedern
- 1 Projekt
- 10,000 Generierungen pro Monat
- 10 Testläufe pro Monat
- 90 Tage Datenspeicherung
- Gängige Modellanbieter
- Mandantenfähige Bereitstellung
Growth
- Unbegrenzte Anzahl von Teammitgliedern
- Ab 5 Projekten
- Ab 100,000 Generierungen pro Monat
- Ab 50 Testläufen pro Monat
- Individuelle Datenspeicherung
- Gängige Modellanbieter
- Mandantenfähige Bereitstellung
- 14-tägige Testphase
Enterprise
- Unbegrenzte Anzahl von Teammitgliedern
- Unbegrenzte Anzahl von Projekten
- Ab 500,000 Generierungen pro Monat
- Unbegrenzte Testläufe
- Individuelle Datenspeicherung
- Unterstützung selbst gehosteter Modelle
- Selbst gehostete, dedizierte oder mandantenfähige Bereitstellung
- SAML oder OIDC für Unternehmen
- 30-tägige Testphase
* Die Preisangaben dienen nur zur Orientierung. Bitte beachten Sie die aktuellen Informationen auf der offiziellen Website von Freeplay.