Ragas et TruLens : la recherche a-t-elle omis une clause, ou la réponse cite-t-elle la mauvaise preuve ?
Ragas convient davantage pour vérifier, avec des réponses de référence, si la recherche omet des faits indispensables ; TruLens pour repérer, étape par étape, la perte de preuves et les citations erronées. Le choix exige de distinguer rappel, fidélité et attribution des citations, et de conserver le contexte réellement vu par le modèle.
Après avoir réduit de cinq à trois le nombre de passages récupérés dans une base de connaissances du service client, les réponses sur les remboursements sont devenues plus courtes, mais ont omis les conditions applicables. La recherche n’a-t-elle pas trouvé les clauses, ou le modèle les a-t-il reçues avant de mal les restituer ou de mal les citer ? Se limiter à la note globale de la réponse finale conduit souvent à confier la correction à la mauvaise personne.
Si des réponses de référence existent et qu’il faut comparer des configurations de recherche, évaluez d’abord Ragas. S’il faut suivre une requête pour déterminer à quelle étape les preuves disparaissent ou vérifier la cible des citations, évaluez d’abord TruLens. Ce choix repose sur la documentation officielle, et non sur un classement issu de tests pratiques. Les deux outils dépassent désormais la seule évaluation RAG: la documentation Ragas couvre l’évaluation des agents et des workflows, tandis que TruLens se positionne sur l’évaluation et le traçage des agents.
Déterminer d’abord si les preuves manquent ou sont mal utilisées
ContextRecall de Ragas prend en entrée la question user_input, les passages récupérés retrieved_contexts et la réponse de référence reference. Un modèle juge détermine si les faits de cette réponse sont couverts par les passages. Le score correspond à la proportion de faits couverts; plus il est élevé, mieux c’est. Il permet de demander: « Toutes les conditions indispensables ont-elles été retrouvées ? » En contrepartie, quelqu’un doit maintenir des réponses de référence fiables. Si la référence omet une exception, le score de rappel ne verra pas non plus cette lacune.
ContextPrecision vérifie plutôt si les passages utiles apparaissent en tête. L’API collections actuelle permet également une évaluation à partir de la question, des passages et de la réponse de référence. Sans référence, ContextUtilization utilise la réponse générée pour juger l’utilité des passages; il ne faut pas l’assimiler à la couverture d’une réponse dont on connaît l’exactitude. Pertinence, classement et rappel sont des questions distinctes: trois passages pertinents peuvent précisément omettre l’exception au remboursement.
La RAG triad de TruLens vérifie séparément la pertinence des passages pour la question, la cohérence de la réponse avec les preuves et l’adéquation de la réponse à la question. Aucune des trois vérifications ne dépend d’une réponse de référence, ce qui convient à un premier examen des requêtes non annotées. Mais une forte pertinence ne prouve pas qu’une clause non retrouvée n’existe pas. TruLens dispose aussi d’un processus d’évaluation de la recherche qui calcule rappel et NDCG avec des passages de référence. Il serait donc incorrect de répartir strictement les deux outils entre « avec référence » et « sans référence ».
Une réponse étayée ne garantit pas des citations correctes
Faithfulness de Ragas reçoit la question, la réponse et les passages récupérés, sans exiger de réponse de référence. La métrique décompose les faits de la réponse et calcule la proportion étayée par les passages, sur une plage de 0–1; plus le score est élevé, mieux c’est. La groundedness de TruLens vérifie également si les affirmations de la réponse trouvent un appui dans le contexte fourni. Aucune de ces deux familles de métriques ne prouve à elle seule que la réponse est complète ou que la base de connaissances est correcte.
Une erreur plus discrète survient lorsque le délai de remboursement figure bien dans le deuxième passage, mais que la réponse cite le premier. L’ensemble des preuves étaye la phrase, et le score de cohérence peut donc rester bon. Les modèles de citation de TruLens distinguent explicitement deux contrôles: CitationAttribution compare les marques explicites [N] aux passages numérotés; une citation erronée échoue, mais les affirmations sans marque ne sont pas pénalisées. CitationAccuracy accepte des formats de citation plus larges, attribue une note de 0–3 et considère aussi comme problématique l’absence d’une citation nécessaire. Il ne faut pas soustraire directement ses notes brutes à des scores sur 0–1.
Pour afficher des liens vers les sources dans le service client, acheter seulement une métrique de « fidélité » ne suffit donc pas. Les équipes qui adoptent Ragas doivent définir séparément un contrôle de la cible des citations. Celles qui adoptent TruLens doivent aussi choisir le bon modèle et conserver la correspondance entre numéros et passages originaux. Aucun des deux outils ne décide à la place du métier quelles phrases doivent comporter une citation.
Séparer les responsabilités avec un enregistrement vérifiable
Ce qui suit est une proposition de protocole d’évaluation, pas le résultat d’une exécution déjà réalisée. Préparez 30 questions sur les remboursements validées manuellement, couvrant les remboursements courants, les exceptions et les cas sans réponse dans la base de connaissances. Pour chaque enregistrement, conservez l’identifiant de la question, la version du texte original, la réponse de référence et les passages indispensables. À chaque exécution, sauvegardez aussi la liste ordonnée des résultats de recherche, le contexte effectivement envoyé au modèle, la réponse complète, la correspondance des citations et la version de configuration.
Par exemple: « Mon abonnement annuel a été activé il y a 10 jours et j’ai déjà utilisé le service. Puis-je encore obtenir un remboursement intégral ? » Les clauses de test créées pour l’occasion sont: [1] Un remboursement peut être demandé dans les 14 jours suivant l’activation; [2] Le remboursement intégral ne s’applique pas si le service a été utilisé. La réponse de référence doit inclure les deux clauses et leur relation. Il s’agit d’un exemple métier synthétique, pas de la politique de remboursement d’une entreprise.
Fixez l’instantané de la base de connaissances, le modèle générateur et le prompt, et modifiez uniquement le top-k de recherche de 5 à 3. Soumettez d’abord les deux ensembles de contextes réellement utilisés à ContextRecall de Ragas, puis vérifiez Faithfulness. Avec TruLens, évaluez la pertinence de chaque passage, la groundedness de la réponse par rapport à l’ensemble du contexte, puis vérifiez séparément les citations. La documentation Selector explique que vérifier les passages un par un et regrouper le contexte constituent des choix distincts. Si la recherche est suivie d’un reclassement, d’un filtrage ou d’une troncature, ces étapes doivent être enregistrées. Des passages candidats jamais vus par le modèle ne peuvent pas être considérés comme ses preuves.
Cet enregistrement permet de distinguer au moins quatre traitements: si la deuxième clause n’entre pas dans la liste des candidats, vérifiez la recherche; si elle est candidate mais absente du contexte du modèle, vérifiez l’assemblage; si le modèle voit les deux clauses et promet tout de même un remboursement intégral, vérifiez la génération; si la réponse est correcte mais cite le mauvais numéro, vérifiez l’attribution. Si le texte original de la base n’est plus valide, le problème revient au responsable du contenu et ne se résout pas en changeant de modèle juge.
Fixer le juge et les critères avant de comparer les scores
Les métriques LLM des deux outils dépendent du juge. Les exemples de métriques de Ragas passent explicitement un modèle juge, et la configuration des providers de TruLens permet aussi de choisir le modèle. Pour comparer, fixez la même version disponible du juge, la température et le texte d’entrée, puis consignez les prompts respectifs, l’implémentation des métriques et les méthodes d’agrégation. Même avec le même modèle, un 0.8 obtenu selon des grilles différentes ne correspond pas au même étalon.
Demandez d’abord aux équipes métier d’attribuer aux exemples ci-dessus les catégories « preuves manquantes », « contradiction avec les preuves », « citation erronée » et « réponse à refuser », puis vérifiez si l’évaluation automatique détecte ces erreurs. Répétez la notation des cas limites et conservez les justifications. Comptez les erreurs non détectées par catégorie, sans masquer les promesses risquées derrière une moyenne unique. Pour les cas sans réponse, vérifiez le refus approprié de répondre, sans imposer une référence fictive pour calculer le rappel.
Si le problème actuel est de prouver qu’une nouvelle recherche n’omet aucun fait indispensable, les métriques fondées sur une référence de Ragas sont plus directes. Si le problème est que les responsables du reclassement, de l’assemblage et de la génération se renvoient la responsabilité, la sélection des étapes et les contrôles de citation de TruLens correspondent mieux au diagnostic. Complétez d’abord le contexte réellement utilisé et l’annotation des preuves, puis choisissez l’outil. Sinon, les deux peuvent produire de beaux scores sans indiquer quelle étape corriger.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :docs.ragas.io