Galileo et Maxim AI : repérer l’étape à corriger dans les tests de service client à plusieurs tours
Si les cas limites entre plusieurs tours manquent, vérifiez d’abord la simulation d’utilisateurs de Maxim. Si des conversations en échec existent déjà et qu’il faut distinguer choix d’outil et exécution, évaluez d’abord Galileo. Il faut séparer fin de conversation, réussite métier et notation par modèle, et calculer les coûts sur des parcours de conversation complets.
Un agent de service client confirme d’abord la commande, puis l’utilisateur demande finalement un échange, mais l’outil renvoie un dépassement de délai de l’interface de remboursement. Même une dernière réponse polie peut masquer une perte d’état, un envoi en double ou une fausse promesse. Pour choisir une plateforme d’évaluation, l’essentiel est de pouvoir reconstituer ce parcours à plusieurs tours et transformer la défaillance en correction vérifiable lors du prochain test.
Galileo convient davantage aux équipes qui disposent de conversations réelles, doivent localiser les problèmes le long des appels d’outils et configurer la notation en production. Maxim AI convient davantage aux équipes qui manquent de cas limites et souhaitent faire relancer continuellement l’agent par un utilisateur simulé. Les deux évaluent des agents ; la différence tient au travail à compléter en premier. Les informations suivantes reposent sur des sources officielles vérifiées le 10 novembre 2026. Scénarios et chiffres d’acceptation sont hypothétiques ; aucun test pratique des produits n’a été effectué.
Choisir d’abord entre observer les conversations et générer de nouveaux parcours
La structure des sessions de Galileo regroupe les traces liées dans une session, puis permet d’examiner les spans des appels d’outils et leurs entrées et sorties. Si l’équipe de service client a déjà accumulé des conversations en échec, cela aide les ingénieurs à déterminer à quel tour l’utilisateur a changé d’avis et si les appels suivants ont continué avec l’ancienne commande ou l’ancienne intention. À l’intégration, il faut relier correctement les enregistrements d’une même conversation. La seule dernière réponse n’explique pas les états intermédiaires.
La fonction de simulation de Maxim permet de configurer scénarios, profils utilisateurs et nombre maximal de tours afin que l’IA génère les entrées utilisateur suivantes. Les simulations par lots enregistrent scénarios et étapes attendues dans un jeu de données et s’exécutent contre le HTTP endpoint de l’agent. Elles conviennent pour tester activement des parcours tels que « refuser d’abord de fournir le numéro de commande, puis le donner » ou « passer d’un remboursement à un échange ». Un utilisateur simulé n’est pas un vrai client, et le taux de réussite d’une simulation n’est pas celui de la production.
Cela ne signifie pas que Galileo manque d’expériences ou de données synthétiques. Sa documentation des jeux de données prend en charge entrées d’expérience, sorties attendues et exemples synthétiques. Mais générer des lignes de test n’équivaut pas à un utilisateur qui relance continuellement la conversation. La documentation Maxim vérifiée ici décrit plus précisément ce comportement et ses conditions d’arrêt. Une équipe qui possède déjà son simulateur n’a pas besoin de migrer son système d’évaluation pour ajouter un point d’entrée de plus.
Valider séparément le choix d’outil, son exécution et la fin de conversation
Les tests d’outils de Maxim distinguent API ou code exécutables et schema servant uniquement à tester la sélection. Le Playground permet aussi de modifier manuellement les retours d’outils. On peut ainsi préparer trois types de réponse : succès, dépassement de délai et refus métier. Cela ne signifie pas que la plateforme remplace automatiquement le vrai backend. Pour les tests par lots, l’équipe doit toujours fixer les valeurs de retour dans une interface sandbox ou une couche d’adaptation de test, afin d’empêcher qu’un remboursement simulé ne produise un vrai paiement.
La fin doit également être définie séparément. Une simulation personnalisée permet de spécifier le modèle, le comportement et les conditions de fin, et ajoute automatiquement l’outil end_simulation. Celui-ci termine la conversation simulée, sans certifier la réussite métier. Il faut enregistrer séparément « transfert correct à un humain », « abandon de l’utilisateur », « limite de tours atteinte » et « opération métier terminée ». Tous les arrêts de conversation ne doivent pas être comptés comme des problèmes résolus.
Tool Selection Quality de Galileo juge si l’outil et les paramètres sont appropriés ; Tool Error juge si une erreur s’est produite à l’exécution. Pour le premier, true signifie que le choix est correct ; pour le second, true signifie qu’une erreur a été détectée. Il faut harmoniser le sens des indicateurs avant de les agréger. Tous deux reposent sur un jugement de modèle et ne remplacent ni le registre des remboursements ni les codes de statut de l’interface.
Par exemple, si la consultation de commande est correcte mais que l’interface dépasse le délai, corrigez d’abord la reprise et le transfert à un humain. Si l’interface réussit mais que l’agent continue à soumettre l’ancienne demande de remboursement, vérifiez la mise à jour de l’intention et la gestion d’état. S’il annonce « terminé » sans réussite réelle, vérifiez que la réponse est contrainte par le résultat de l’outil. Les ingénieurs ont besoin de l’intention, des paramètres, des retours et des changements d’état à chaque tour ; le responsable métier doit confirmer les résultats autorisés. Une baisse du score global peut déclencher une enquête, mais ne peut décider seule s’il faut modifier le prompt ou réparer l’interface.
Enrichir la simulation avec les échecs en production, sans remplacer la production par la simulation
L’évaluation en production de Maxim distingue session, trace et span : une conversation entière sert aux jugements entre plusieurs tours, une réponse individuelle à la qualité locale, et la configuration au niveau span passe par le SDK. Les métriques des flux de logs de Galileo permettent d’activer des évaluations prédéfinies ou personnalisées et de configurer l’échantillonnage par métrique. Pour les deux, il faut d’abord intégrer suffisamment de contexte, puis déterminer le périmètre de notation.
Maxim permet de constituer des jeux de données à partir de logs et de corrections humaines. Galileo dispose de champs distincts generated_output, ground_truth et metric_ground_truth pour séparer sortie de l’application, réponse attendue et note attendue. Lors de la réintégration d’un exemple d’échec, conservez la conversation originale pour le diagnostic, puis dégagez les conditions déclenchantes et le parcours attendu pour la réexécution. La mauvaise sortie originale ne doit pas devenir la bonne réponse, et importer les logs ne doit pas être supposé reconstruire l’état du backend.
La revue humaine doit se concentrer sur les conflits entre notation par modèle et faits des outils, les arrêts prématurés, les changements d’avis de l’utilisateur et les promesses à haut risque. N’ajoutez les variantes de simulation correspondantes qu’après avoir confirmé que l’échec vient bien de l’agent. Si l’évaluateur classe comme échec un transfert correct à un humain, corrigez d’abord les règles de notation ; il ne faut pas pousser l’agent à poursuivre l’exécution pour obtenir une meilleure note. Les exemples mal notés en production dépendent aussi de l’échantillonnage et de la composition du trafic. Examinez également les conversations normales pour ne pas apprendre uniquement à corriger les parcours générant le plus de plaintes.
Calculer le budget par parcours, traiter séparément le contrôle à l’exécution
Une présélection hypothétique pourrait préparer 20 scénarios, avec 3 retours d’outils par scénario, répétés 2 fois : soit 120 conversations simulées, limitées chacune à 8 tours. Un maximum de 960 tours ne signifie pas 960 appels de modèle. Il faut aussi compter la génération de l’utilisateur simulé, la planification interne de l’agent, plusieurs évaluateurs et les nouvelles tentatives. Relevez séparément les tokens et coûts de ces appels, le nombre d’appels d’outils, la durée des conversations et le temps de revue humaine, puis ajoutez les frais applicables, comme l’abonnement et le stockage des logs. La vitesse du gateway ne permet pas de déduire le coût total de l’évaluation.
Il faut notamment vérifier à quel niveau agit l’échantillonnage. La documentation Maxim est explicite : échantillonnage et limitation de débit ne s’appliquent qu’aux évaluations de niveau trace ; au niveau session, chaque conversation reste évaluée. Tool Selection Quality de Galileo adresse plusieurs requêtes au modèle juge, ce qui augmente aussi les coûts. Un échantillonnage de 10% ne permet donc pas d’estimer directement toute la facture d’un test à plusieurs tours à un dixième.
Les limites des produits comptent tout autant. Cet article traite des produits d’évaluation et de simulation de Maxim ; Bifrost est un gateway d’accès aux modèles et de gouvernance. Ses conditions open source ou gratuites ne doivent pas être appliquées au service d’évaluation. L’actuel Agent Control de Galileo offre séparément le contrôle des entrées et sorties pendant l’exécution d’un workflow. Collecter et noter des logs ne signifie pas qu’un blocage est déjà configuré. Si un blocage à l’exécution est nécessaire, vérifiez séparément l’intégration du contrôle, ses déclencheurs, les blocages erronés et le traitement métier après un échec.
Pour accepter les 120 conversations ci-dessus, on pourrait exiger que tous les remboursements non autorisés et toutes les fausses promesses d’achèvement entrent dans la liste de blocage, tout en rapportant séparément les proportions de réussites, transferts conformes à un humain, défaillances d’outils et dépassements du nombre de tours. Pour comparer avant et après correction, fixez scénarios, retours d’outils, configurations de l’agent et du simulateur et règles de notation, puis soumettez les cas contestés à une revue humaine. Les seuils dépendent du risque métier. Ce sont des méthodes d’acceptation proposées, pas des résultats déjà atteints par ces deux produits.
Si la difficulté actuelle est de ne pas avoir assez d’utilisateurs difficiles pour tester les changements entre plusieurs tours, essayez d’abord Maxim. Si vous avez déjà beaucoup de mauvaises conversations sans pouvoir déterminer l’étape fautive, essayez d’abord Galileo. Si les états de réussite métier, les interfaces de test isolées et les liens entre les enregistrements de conversation n’existent pas encore, posez ces bases avant d’acheter. Le livrable vraiment utile est un cas qui identifie le tour erroné, reproduit les conditions des outils et démontre l’efficacité de la correction, pas seulement une moyenne plus élevée.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :docs.galileo.ai