Choisir Future AGI : des classements unanimes sont-ils forcément justes ?
Une exposition de poterie fictive sépare accord entre relecteurs et conformité à la définition de référence.
Future AGI mentionne l’analyse des accords dans ses notes de septembre 2025. La documentation décrit les statistiques et leurs conditions d’accès. Un accord peut indiquer qu’une définition est compréhensible. Il mesure si les personnes jugent pareil, pas si elles respectent la définition faisant foi.
Tous peuvent appliquer la même mauvaise version
Dans une exposition de poterie fictive, on distingue « émaillé » et « non émaillé ». La liste actuelle donne A émaillé, B et C non émaillés, D émaillé. Les deux relecteurs utilisent la même ancienne fiche et classent à tort C, lisse, comme émaillé. Les trois autres réponses sont bonnes. Ils s’accordent sur quatre éléments, mais chacun n’en valide que trois face à la liste actuelle. Ces fiches originales ne mesurent ni algorithme, ni compétence, ni personne réelle.
Réservez deux colonnes : accord sur une même entrée, puis exactitude face à la référence versionnée. Si la version est masquée, laissez l’exactitude en attente plutôt que de la déduire d’un accord de 4/4. Après une mise à jour officielle, cherchez une catégorie concentrant les erreurs communes, pas seulement la vitesse.
Quand un contrôle indépendant suffit
Comparez des statistiques multi-relecteurs pour des annotations nombreuses, des transmissions fréquentes et des réponses de référence traçables. Pour quelques fiches, un petit tableau suffit à juxtaposer réponses et désaccords. Incluez le temps de définir, réviser et arbitrer. Aucun accès aux données, échantillon de personnes réelles, évaluation ni agent n’est utilisé.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :docs.futureagi.com