Oqoqo

Oqoqo est une plateforme d'évaluation d'agents qui fonctionne sur une infrastructure cloud entièrement gérée et permet de mener des expériences d'évaluation à grande échelle en conditions réelles. Les utilisateurs peuvent rédiger et versionner des ensembles de tâches et des critères d'évaluation en langage naturel, créer des benchmarks privés et comparer de façon répétée les performances de différents agents, modèles et approches. La plateforme agrège des résultats tels que le taux de réussite, les améliorations, la consommation de tokens et la friction de l'interface, ce qui aide à repérer les problèmes d'interaction produit et les écarts d'efficacité des tokens, et à trouver les combinaisons d'agents et de modèles adaptées à des cas d'usage précis. L'accès s'effectue via l'application Web, le CLI et MCP ; l'inférence des modèles utilise vos propres clés API ou abonnements.