Ragas y TruLens: ¿la búsqueda omitió una cláusula o la respuesta citó la evidencia equivocada?
Ragas resulta más adecuado para comprobar con respuestas de referencia si la búsqueda omite hechos imprescindibles; TruLens, para localizar la pérdida de evidencia y las citas incorrectas a lo largo de una solicitud. La elección exige distinguir exhaustividad, fidelidad y atribución de citas, y conservar el contexto que realmente vio el modelo.
Tras reducir de cinco a tres los fragmentos recuperados de una base de conocimientos de atención al cliente, las respuestas sobre reembolsos se hicieron más breves, pero omitieron las condiciones aplicables. ¿La búsqueda no encontró las cláusulas o el modelo las recibió y aun así las expresó o citó mal? Si solo se mira la puntuación global de la respuesta final, a menudo se encarga la corrección a la persona equivocada.
Si ya hay respuestas de referencia y se quieren comparar configuraciones de recuperación, conviene evaluar primero Ragas. Si se necesita seguir una solicitud para averiguar en qué paso desapareció la evidencia o comprobar a dónde apuntan las citas, conviene evaluar primero TruLens. Esta elección se basa en documentación oficial, no en una clasificación derivada de pruebas propias. Ambos van más allá de la evaluación RAG: la documentación de Ragas incluye evaluación de agentes y flujos de trabajo, mientras que TruLens se presenta como herramienta de evaluación y trazado de agentes.
Determinar primero si falta evidencia o se utiliza mal
ContextRecall de Ragas recibe la pregunta user_input, los fragmentos recuperados retrieved_contexts y la respuesta de referencia reference. Un modelo juez determina si los fragmentos cubren los hechos de la respuesta de referencia. La puntuación es la proporción de hechos cubiertos; cuanto mayor, mejor. Sirve para preguntar: «¿Se encontraron todas las condiciones necesarias?». El coste es que alguien debe mantener respuestas de referencia fiables. Si la referencia omite una excepción, la puntuación de exhaustividad tampoco detectará esa carencia.
ContextPrecision se centra, en cambio, en si los fragmentos útiles aparecen al principio. La API collections actual también permite puntuar a partir de la pregunta, los fragmentos y la respuesta de referencia. Cuando no hay referencia, ContextUtilization utiliza la respuesta generada para juzgar la utilidad de los fragmentos; no debe interpretarse como cobertura de una respuesta que se sabe correcta. La relevancia, la ordenación y la exhaustividad son cuestiones distintas: tres fragmentos relevantes pueden omitir precisamente la excepción al reembolso.
La RAG triad de TruLens comprueba por separado la relevancia de los fragmentos para la pregunta, la coherencia de la respuesta con la evidencia y si la respuesta responde a lo preguntado. Ninguna de las tres comprobaciones depende de una respuesta de referencia, por lo que sirven para un primer examen de solicitudes sin anotar. Pero una relevancia alta no demuestra que una cláusula no recuperada no exista. También dispone de un proceso de evaluación de recuperación que calcula exhaustividad y NDCG con fragmentos de referencia. Por tanto, no se puede asignar a los dos productos una división absoluta entre «con referencia» y «sin referencia».
Una respuesta respaldada no implica citas correctas
Faithfulness de Ragas recibe la pregunta, la respuesta y los fragmentos recuperados, sin exigir una respuesta de referencia. Descompone los hechos de la respuesta y calcula qué proporción está respaldada por los fragmentos, en un intervalo de 0–1; cuanto mayor, mejor. La groundedness de TruLens también comprueba si las afirmaciones de la respuesta tienen respaldo en el contexto proporcionado. Ninguna de estas dos clases de métricas demuestra por sí sola que la respuesta esté completa o que la propia base de conocimientos sea correcta.
Un error más sutil ocurre cuando el plazo de reembolso sí aparece en el segundo fragmento, pero la respuesta cita el primero. El conjunto de evidencias respalda la frase, por lo que la puntuación de coherencia puede seguir siendo buena. Las plantillas de citas de TruLens distinguen expresamente dos comprobaciones: CitationAttribution contrasta las marcas explícitas [N] con los fragmentos numerados; una cita equivocada falla, pero las afirmaciones sin marca no se penalizan. CitationAccuracy admite formatos de cita más amplios, puntúa en una escala de 0–3 y también considera problemáticas las citas necesarias que faltan. No deben restarse directamente sus valores brutos de puntuaciones de 0–1.
Por ello, al mostrar enlaces a las fuentes en atención al cliente, no basta con adquirir una métrica de «fidelidad». Los equipos que adoptan Ragas deben definir por separado una comprobación de los destinos de las citas. Quienes adoptan TruLens también tienen que elegir la plantilla correcta y guardar la correspondencia entre números y fragmentos originales. Ninguna de las dos herramientas decide por el área de negocio qué frases deben llevar cita.
Separar responsabilidades mediante un registro verificable
Lo siguiente es una propuesta de diseño de evaluación, no el resultado de una ejecución ya realizada. Prepare 30 preguntas sobre reembolsos confirmadas manualmente que cubran reembolsos habituales, condiciones excepcionales y casos sin respuesta en la base de conocimientos. En cada registro, guarde el ID de la pregunta, la versión del texto original, la respuesta de referencia y los fragmentos de evidencia necesarios. En cada ejecución, guarde además la lista ordenada de resultados recuperados, el contexto realmente enviado al modelo, la respuesta completa, el mapa de citas y la versión de la configuración.
Por ejemplo, la pregunta es: «Activé el plan anual hace 10 días y ya he utilizado el servicio. ¿Todavía puedo recibir un reembolso completo?». Las cláusulas creadas para la prueba son: [1] Se puede solicitar un reembolso durante los 14 días posteriores a la activación; [2] No corresponde un reembolso completo si se ha utilizado el servicio. La respuesta de referencia debe incluir ambas cláusulas y su relación. Es un ejemplo de negocio sintético, no la política de reembolsos de ninguna empresa.
Mantenga fijos la instantánea de la base de conocimientos, el modelo generador y el prompt, y cambie únicamente el top-k de recuperación de 5 a 3. Primero pase los dos conjuntos de contexto realmente utilizados a ContextRecall de Ragas y después compruebe Faithfulness. Con TruLens, evalúe la relevancia de cada fragmento, la groundedness de la respuesta frente al conjunto del contexto y, por separado, las citas. Su documentación de Selector explica que comprobar cada fragmento y agrupar el contexto son opciones diferentes. Si tras la recuperación hay reordenación, filtrado o truncamiento, esos pasos deben registrarse. Los fragmentos candidatos que el modelo nunca vio no pueden tratarse como su evidencia.
Este registro permite distinguir al menos cuatro actuaciones: si la segunda cláusula no llegó a la lista de candidatos, revise la recuperación; si fue candidata pero no entró en el contexto del modelo, revise el ensamblaje; si el modelo vio ambas cláusulas y aun así prometió un reembolso completo, revise la generación; si la respuesta es correcta pero cita el número equivocado, revise la atribución. Si el texto original de la base de conocimientos ya no es válido, corresponde al responsable del contenido resolverlo; cambiar de modelo juez no lo arregla.
Fijar el juez y los criterios antes de comparar puntuaciones
Las métricas LLM de ambas herramientas dependen del juez. Los ejemplos de métricas de Ragas pasan explícitamente el modelo juez, y la configuración de proveedores de TruLens también permite elegirlo. En la comparación, fije la misma versión disponible del juez, la temperatura y el texto de entrada, y registre los respectivos prompts, las implementaciones de las métricas y los métodos de agregación. Incluso con el mismo modelo, un 0.8 obtenido con rúbricas distintas no representa la misma escala.
Pida primero al personal de negocio que etiquete los ejemplos anteriores con las categorías «falta evidencia», «contradice la evidencia», «cita incorrecta» y «debería abstenerse de responder», y después compruebe si la evaluación automática detecta esos errores. Puntúe repetidamente los casos límite y conserve las justificaciones. Cuente los errores no detectados por categoría, sin ocultar promesas de alto riesgo tras una media única. En los casos sin respuesta, compruebe la abstención correcta de responder; no imponga una respuesta de referencia inventada para calcular la exhaustividad.
Si el cuello de botella actual es demostrar que una nueva recuperación no omite hechos imprescindibles, las métricas con referencia de Ragas son más directas. Si el problema es que los responsables de reordenación, ensamblaje y generación se atribuyen mutuamente la culpa, la selección de pasos y las comprobaciones de citas de TruLens encajan mejor con el diagnóstico. Complete primero el contexto realmente utilizado y las anotaciones de evidencia, y después elija la herramienta. De lo contrario, ambos pueden ofrecer buenas puntuaciones sin responder qué paso hay que corregir.
Nota sobre el contenido:Este artículo se basa en información pública y sirve como referencia para comparar y elegir herramientas. Las funciones, los precios y las políticas relacionadas pueden cambiar en cualquier momento; consulta la información oficial más reciente.
Fuente original:docs.ragas.io