TrueFoundry
Betreiben Sie LLMs und KI-Agenten mit einem unternehmensweiten AI Gateway, einem MCP Gateway und einer versionierten Prompt-Registry.
TrueFoundry ist der aktuelle Produktname.
Über TrueFoundry
TrueFoundry bietet eine gemeinsame Betriebsebene für LLMs, Modelle und KI-Agenten. Das AI Gateway und MCP Gateway übernehmen Traffic-Routing, Ratenbegrenzungen, Beobachtbarkeit und Compliance-Kontrollen. Die Plattform lässt sich mit Kubernetes, AWS, Azure, Google Cloud, MLflow, Grafana, TensorFlow, PyTorch, Hugging Face, Terraform, Streamlit und Gradio verbinden. Mit der Prompt-Verwaltung können Teams versionierte Vorlagen in einer Registry speichern, Variablen und Schutzmechanismen hinzufügen, strukturierte Ausgaben definieren, Protokollierung oder Caching konfigurieren und den Zugriff über Repository-Berechtigungen steuern. Der Entwickler-Tarif kostet $0 pro Monat und ist für Prototypen, Workflow-Experimente und frühe Tests gedacht. Für eine breitere Bereitstellung können Teams die Plattform anhand der Gateway-, Prompt-, Infrastruktur- und Kompatibilitätsfunktionen bewerten, die ihr Betriebsmodell erfordert.
Funktionen
LLM-Traffic routen
Leiten Sie Anwendungstraffic über ein AI Gateway und steuern Sie Routing, Ratenbegrenzungen, Beobachtbarkeit und Ausweichverhalten.
Wiederverwendbare Prompts verwalten
Erstellen und versionieren Sie Prompt-Vorlagen in Repositorys und führen Sie sie anschließend über das Gateway oder SDK aus Anwendungen heraus aus.
KI-Workloads bereitstellen
Stellen Sie Modelle und KI-Agenten bereit und verwalten Sie sie, während Sie die bereits von Entwicklungsteams genutzte Infrastruktur und deren Werkzeuge anbinden.
Vorteile
- Die Entwickler-Stufe für $0 pro Monat senkt die Kosten für Prototypen und frühe Tests.
- AI Gateway und MCP Gateway zentralisieren Routing, Ratenbegrenzungen und Beobachtbarkeit für Betriebsteams.
- Repository-Berechtigungen, Prompt-Versionierung, Schutzmechanismen, Caching und strukturierte Ausgaben unterstützen kontrollierte Workflows.
Nachteile
- Der Entwickler-Tarif für $0 richtet sich an Prototypen und frühe Tests. Teams sollten daher prüfen, ob sein Umfang für den vorgesehenen Workload ausreicht.
- Der große Funktionsumfang der Plattform erfordert mehr Einrichtungsentscheidungen als ein eigenständiger Prompt-Editor.
- Teams außerhalb der aufgeführten Cloud-, Kubernetes- und ML-Werkzeugökosysteme sollten vor der Einführung die Kompatibilität prüfen.
Preispläne
Entwickler
- Für Erkundende und Entwickler in der Anfangsphase konzipiert
- Unterstützt das Prototyping und Testen von KI-Workflows
- Einstieg ohne monatliche Plattformgebühr
* Die Preisangaben dienen nur zur Orientierung. Bitte beachten Sie die aktuellen Informationen auf der offiziellen Website von TrueFoundry.