Arize Phoenix et Braintrust : lequel transforme une trace d’échec en base de test approuvée par l’équipe ?
Phoenix convient aux équipes d’ingénierie prêtes à maintenir l’auto-hébergement et le code des expériences. L’affectation des revues, les résultats de plusieurs réviseurs et les instantanés nommés de Braintrust répondent davantage à une collaboration entre métiers. Il faut examiner comment un échec devient un exemple approuvé et qui maintient les versions, les critères de notation et les configurations réexécutables.
Un assistant du service client transforme « demande de remboursement envoyée » en « remboursement reçu ». L’ingénieur retrouve la trace de l’échec et le responsable produit identifie l’erreur. Mais lors de la prochaine modification du prompt, l’équipe retrouvera-t-elle le même cas, la même réponse attendue et la même notation ? Arize Phoenix et Braintrust proposent tous deux traçage, évaluation, annotation humaine et jeux de données. Cette comparaison porte sur la transformation d’une mauvaise réponse en base de test transmissible au sein de l’équipe.
Si l’équipe d’ingénierie est prête à maintenir l’instance, la conversion des exemples et le code des expériences, la voie auto-hébergée de Phoenix mérite d’être évaluée en premier. Si le produit et les experts métier doivent continuellement affecter des revues, gérer plusieurs avis et maintenir des instantanés nommés, le processus collaboratif de Braintrust correspond mieux à ce travail, sous réserve de vérifier l’offre. Ce qui suit repose sur des documents officiels. L’exemple de remboursement est un scénario d’analyse, pas un test pratique réalisé.
Transformer d’abord l’erreur en exemple à l’origine traçable
L’interface d’annotation humaine de Phoenix permet de configurer catégories, scores continus et texte libre. Elle affiche l’auteur et l’origine humaine, modèle ou code des annotations, puis permet de filtrer les spans selon ces annotations pour les importer dans un jeu de données. Les collègues métier peuvent expliquer que « le statut a été exagéré », sans réduire la revue à une mauvaise note.
Il faut toutefois un lien vérifiable entre les entrées et sorties de l’exemple et la trace d’origine. La documentation sur les liens de provenance de Phoenix distingue un identifiant conservé dans metadata d’un lien source explicite; tous les imports ne comportent pas source. L’ingénieur doit vérifier qu’un exemple réel permet de revenir au span d’origine du bon projet, au lieu de ne conserver qu’une réponse privée de son contexte.
La gestion des revues de Braintrust permet d’affecter à des membres des lignes issues des journaux, des expériences ou des jeux de données, de les consulter par état « à examiner », « affecté à moi » ou « terminé », puis de les ajouter directement à un jeu de données. Sa structure de données sépare input, expected, metadata et tags; input peut également conserver une référence à une trace. Les deux outils relient les problèmes en production aux expériences hors ligne. La différence tient au besoin prioritaire de l’équipe: contrôle technique ou point d’entrée pour l’affectation quotidienne des revues.
Pour le cas du remboursement, le responsable produit doit préciser: « La demande a été envoyée; il ne faut pas affirmer que les fonds sont arrivés. » L’ingénieur conserve l’entrée utilisateur de l’époque, le contexte nécessaire et des retours d’outils reproductibles. La sortie erronée ne doit pas devenir telle quelle la réponse attendue, et une référence à une trace ne doit pas être confondue avec un environnement métier rejouable. Il faut préserver les deux usages distincts, pièces d’investigation et expected confirmé, et vérifier les champs sensibles avant l’intégration à la base de test.
Deux personnes qui notent ne suffisent pas à établir une réponse attendue
Phoenix permet de consulter les avis et justifications de différents annotateurs, ce qui convient aux discussions entre ingénierie et métier autour d’un même span. Les règles de revue à plusieurs de Braintrust sont plus explicites: les scores de chacun sont conservés indépendamment; les scores numériques et catégoriels sont moyennés sur le span parent. Le texte ou les résultats catégoriels écrits dans expected ne peuvent pas être moyennés; il faut choisir un résultat comme valeur de base.
Si deux experts donnent 0 et 1, la moyenne de 0.5 indique donc seulement un désaccord, pas un statut de remboursement « à moitié correct ». L’équipe doit déterminer qui arbitre, comment les raisons sont consignées et quand un exemple peut entrer dans le jeu de données approuvé. Cette responsabilité relève du métier; la plateforme ne décide pas à sa place. La visibilité des scores de Braintrust n’est qu’un filtre d’affichage du formulaire de revue. Les scores masqués peuvent être réaffichés: ce n’est pas une séparation des droits d’accès.
Fixer la version des données avant de discuter des progrès
La description des jeux de données de Phoenix précise que les insertions, mises à jour et suppressions sont versionnées et que les expériences peuvent être fixées à une version particulière. Braintrust suit aussi les changements, mais les instantanés nommés sont réservés à Pro et Enterprise. Si plus de 20,000 lignes ont changé depuis l’instantané, la restauration échoue. Historique des versions, base approuvée nommée pour l’équipe et capacité de restauration sont des engagements distincts, que « gestion des versions disponible » ne résume pas.
Supposons que 20 cas de remboursement soient approuvés, puis que 5 cas limites soient ajoutés. Un résultat de 18/20 dans l’ancienne expérience et de 22/25 dans la nouvelle ne prouve directement ni régression ni progrès du modèle. Il faut réexécuter l’ancienne et la nouvelle configuration sur la même version approuvée et expliquer séparément les nouveaux exemples. L’intégration aux évaluations de Braintrust permet de charger une version ou une version nommée; les environnements sont associés à des instantanés. Même un nom d’environnement pratique doit être résolu vers sa version réelle, qui doit être enregistrée, pour éviter qu’un changement ultérieur de cible ne brouille la comparaison.
L’API d’expériences de Phoenix sépare dataset, task et evaluators et permet de renoter des expériences terminées. Eval de Braintrust distingue également données, tâche et évaluateurs. Réévaluer d’anciennes sorties et rappeler l’application sont deux expériences différentes. Lors de la transmission, il faut consigner, outre la version des données, le code applicatif, les prompts, le modèle et son fournisseur, les paramètres d’échantillonnage, les instantanés des outils ou des connaissances, ainsi que les règles des évaluateurs et le modèle juge. Les réexécutions impliquant des interfaces externes doivent utiliser un environnement de test contrôlé: les cas de remboursement ne doivent pas déclencher à nouveau de vraies opérations.
Le responsable technique maintient ces enregistrements, tandis que le responsable métier approuve expected et les critères de notation. Conserver toute la configuration réduit le risque de comparer des choses différentes, sans garantir qu’un modèle distant donnera toujours la même réponse. La revue doit examiner les changements et causes d’échec de chaque exemple, pas seulement le score global.
Mettre en œuvre la collaboration avec le budget et les droits d’accès
La documentation d’auto-hébergement de Phoenix propose un déploiement gratuit, mais quelqu’un doit toujours assumer les serveurs, mises à niveau, sauvegardes et appels de modèles. La licence actuelle est l’Elastic License 2.0. Elle limite la fourniture à des tiers de services hébergés ou gérés; il ne convient donc pas de qualifier globalement Phoenix d’open source au sens de l’OSI. Sa documentation des droits décrit admin, member et viewer et renvoie à Arize AX pour SAML SSO et le RBAC à plusieurs niveaux. Les fonctions d’entreprise d’AX ne doivent pas être attribuées à Phoenix.
Selon les tarifs actuels de Braintrust, Starter coûte 0 dollar américain par mois et ne comprend qu’1 critère de notation de revue humaine par projet. Pro coûte 249 dollars américains par mois, avec des critères de notation humaine illimités et un RBAC de base. Le traitement des données et les évaluations automatiques ont leurs propres quotas et frais de dépassement; les coûts des modèles doivent aussi être vérifiés séparément. Des nombres illimités d’utilisateurs, de jeux de données et d’expériences n’impliquent pas des processus de revue ou des coûts d’exécution sans limites.
Il faut également distinguer les limites du service lors du déploiement. Dans la description du déploiement de Braintrust, BYOC signifie que le fournisseur exploite le plan de données dans le compte cloud du client. L’interface, l’authentification et les métadonnées légères restent gérées par le fournisseur; les fonctions activées peuvent toujours appeler des modèles externes. La présentation officielle du produit classe BYOC et le plan de données auto-hébergé parmi les options Enterprise. « Dans son propre cloud » ne signifie donc ni que toute la plateforme fonctionne hors ligne, ni que les exigences de sécurité sont automatiquement satisfaites.
Pour choisir, prenez un enregistrement d’échec dont les données sensibles ont été retirées, demandez aux collègues métier de terminer l’annotation et l’arbitrage des désaccords, puis faites réexécuter l’expérience à version fixe par un autre ingénieur. Si l’obstacle principal est le contrôle du déploiement et des expériences, et que l’équipe peut prendre en charge la maintenance, essayez d’abord Phoenix. Si ce sont l’affectation des revues, les résultats de plusieurs réviseurs et la transmission d’une base approuvée, vérifiez d’abord Braintrust et l’offre payante correspondante. Le critère d’acceptation est la capacité du collègue suivant à expliquer et réexécuter le cas, pas la simple présence d’un score dans le tableau de bord.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :arize.com