TrueFoundry
Exécutez des LLM et des agents d’IA avec une AI Gateway d’entreprise, une MCP Gateway et un registre d’invites versionné.
TrueFoundry est le nom actuel du produit.
À propos de TrueFoundry
TrueFoundry fournit une couche d’exploitation partagée pour les LLM, les modèles et les agents d’IA. Son AI Gateway et sa MCP Gateway prennent en charge le routage du trafic, les limites de débit, l’observabilité et les contrôles de conformité. La plateforme se connecte à Kubernetes, AWS, Azure, Google Cloud, MLflow, Grafana, TensorFlow, PyTorch, Hugging Face, Terraform, Streamlit et Gradio. La gestion des invites permet aux équipes de conserver des modèles versionnés dans un registre, d’ajouter des variables et des garde-fous, de définir des sorties structurées, de configurer la journalisation ou la mise en cache et de gérer les accès à l’aide des autorisations du dépôt. Le forfait Développeur coûte $0 par mois et s’adresse au prototypage, aux expérimentations de flux de travail et aux premiers tests. Pour un déploiement plus large, les équipes peuvent évaluer la plateforme selon les capacités de passerelle, de gestion des invites, d’infrastructure et de compatibilité exigées par leur modèle d’exploitation.
Fonctionnalités
Router le trafic des LLM
Faites transiter le trafic des applications par une AI Gateway avec des contrôles de routage, de limites de débit, d’observabilité et de comportement de repli.
Gérer des invites réutilisables
Créez et versionnez des modèles d’invites dans des dépôts, puis exécutez-les depuis les applications au moyen de la passerelle ou du SDK.
Déployer des charges de travail d’IA
Déployez et gérez des modèles et des agents d’IA tout en les reliant aux infrastructures et outils déjà utilisés par les équipes d’ingénierie.
Avantages
- Le niveau Développeur à $0 par mois réduit le coût du prototypage et des premiers tests.
- AI Gateway et MCP Gateway centralisent le routage, les limites de débit et l’observabilité pour les équipes d’exploitation.
- Les autorisations de dépôt, le versionnage des invites, les garde-fous, la mise en cache et les sorties structurées facilitent les flux de travail contrôlés.
Limites
- Le forfait Développeur à $0 vise les prototypes et les premiers tests ; les équipes doivent donc vérifier si son périmètre convient à la charge de travail prévue.
- L’étendue de la plateforme impose davantage de choix de configuration qu’un éditeur d’invites autonome.
- Les équipes qui n’utilisent pas les écosystèmes cloud, Kubernetes et d’outils de ML répertoriés doivent vérifier la compatibilité avant l’adoption.
Formules tarifaires
Développeur
- Conçu pour les explorateurs et les développeurs débutants
- Prend en charge le prototypage et le test de flux de travail d’IA
- Démarrez sans frais mensuels de plateforme
* Les informations tarifaires sont données à titre indicatif. Consultez les dernières annonces sur le site officiel de TrueFoundry.