Coarena
Évaluation d'agents d'utilisation de l'ordinateur et classement des modèles pour les tâches navigateur et bureau
À propos de Coarena
Coarena est une plateforme d'évaluation en temps réel destinée aux agents d'utilisation de l'ordinateur. Les agents accomplissent des tâches via le navigateur et les logiciels de bureau ; la plateforme compare les différentes tentatives en combinant un jugement humain en aveugle avec des métriques d'exécution enregistrées, et propose des profils de modèles ainsi que des comparaisons entre familles de modèles. Les utilisateurs peuvent croiser la préférence humaine, l'achèvement signalé, la vitesse, la capacité de récupération et le coût estimé pour guider leur choix de modèle ; la page méthodologie explique les conclusions que chaque indicateur permet d'établir.
Idéal pour
Meilleurs cas d'utilisation
Comparer les performances d'achèvement sur les tâches navigateur et logiciel de bureau
Évaluer les modèles à partir des préférences humaines et des métriques d'exécution
Guider la sélection selon la vitesse, la récupération et le coût estimé
Consulter les profils et comparaisons des différentes familles de modèles
Fonctionnalités
Jugement humain en aveugle
Compare les tentatives des agents grâce à un jugement humain en aveugle.
Métriques d'exécution enregistrées
Analyse les performances des tâches à partir des métriques d'exécution enregistrées.
Comparaison multidimensionnelle des modèles
Combine préférence humaine, achèvement, vitesse, récupération et coût estimé.
Profils et classement des modèles
Parcourir les profils de modèles et les données comparatives entre familles de modèles.
Avantages
- Combine jugement humain en aveugle et métriques d'exécution enregistrées
- Présente achèvement, vitesse, capacité de récupération et coût estimé ensemble
- Couvre les familles de modèles telles que Claude, GPT et Gemini
- Fournit des profils de modèles et plusieurs comparaisons