Humanloop
Un ancien espace de travail destiné aux entreprises pour gérer les prompts, évaluer les systèmes LLM et observer leur comportement en production.
L’équipe de Humanloop a rejoint Anthropic et a mis fin à la plateforme Humanloop.
À propos de Humanloop
Humanloop était une plateforme d’entreprise destinée au développement et à l’évaluation d’applications reposant sur de grands modèles de langage. Cet espace collaboratif réunissait la gestion des prompts, un environnement d’expérimentation multimodèle, le suivi des versions, les jeux de données, les évaluateurs hors ligne et en ligne, la révision humaine, l’évaluation CI/CD, le traçage, la surveillance, la journalisation, les alertes et les retours des utilisateurs finaux. Les contrôles d’entreprise comprenaient SSO et SAML, l’accès fondé sur les rôles, l’hébergement régional, des accords de niveau de service et un déploiement VPC facultatif. La plateforme a désormais cessé ses activités à la suite du départ de l’équipe pour Anthropic. La facturation a pris fin le 30 juillet 2025, et la suppression définitive du service et des données des comptes était prévue le 8 septembre 2025. Humanloop reste donc une référence utile pour comprendre son ancien flux de travail, mais ne constitue plus un choix viable pour un nouveau déploiement.
Fonctionnalités
Gestion des prompts et mises en production contrôlées
Les équipes pouvaient collaborer sur les prompts, comparer les résultats de plusieurs LLM, suivre chaque version et publier des versions balisées afin que les équipes produit et d’ingénierie travaillent à partir du même historique de publication.
Évaluation avant et après le déploiement
Les équipes pouvaient exécuter des évaluateurs hors ligne et en ligne sur des jeux de données versionnés, associer des juges fondés sur du code ou des modèles à une révision humaine, et relier les rapports d’évaluation aux contrôles de publication CI/CD.
Traçage de la production et retours
Les opérateurs pouvaient examiner les traces et journaux des LLM, surveiller le comportement en direct, configurer des alertes et relier les retours des utilisateurs finaux aux versions des prompts et des modèles ayant produit chaque réponse.
Avantages
- Réunissait la gestion des prompts, l’évaluation et l’observabilité dans un même flux de travail.
- Prenait en charge des contrôles d’entreprise tels que SSO, les autorisations par rôle, l’hébergement régional et le déploiement VPC facultatif.
- Comprenait des évaluateurs automatisés, une révision humaine et une intégration CI/CD pour les contrôles de publication.
Limites
- La plateforme a cessé ses activités et ne peut donc pas être adoptée pour un nouveau déploiement en production.
- Les anciennes limites de l’essai, fixées à 2 membres, 50 exécutions d’évaluation et 10,000 journaux mensuels, restreignaient les tests d’équipe significatifs.
- Le déploiement et l’assistance destinés aux entreprises nécessitaient de contacter l’équipe commerciale, tandis que le déploiement VPC était proposé en option payante.
Formules tarifaires
Essayer gratuitement
- 2 membres
- 50 exécutions d’évaluation
- 10,000 journaux par mois
Entreprise
- SSO et SAML
- Contrôles d’accès fondés sur les rôles
- Accompagnement personnalisé avec SLA
- Déploiement VPC facultatif
* Les informations tarifaires sont données à titre indicatif. Consultez les dernières annonces sur le site officiel de Humanloop.