Galileo y Maxim AI: cómo localizar el paso que hay que corregir en pruebas de atención al cliente de varios turnos
Si faltan casos límite entre turnos, conviene verificar primero la simulación de usuarios de Maxim. Si ya hay conversaciones fallidas y se necesita separar selección de herramientas y ejecución, conviene evaluar primero Galileo. La elección debe distinguir final de conversación, éxito de negocio y puntuación del modelo, y calcular costes sobre recorridos completos.
Un agente de atención al cliente confirma primero el pedido; después, el usuario cambia de idea y pide un cambio, pero la herramienta devuelve un tiempo de espera agotado de la interfaz de reembolsos. Aunque la última respuesta sea educada, puede ocultar pérdida de estado, envíos duplicados o promesas incorrectas. Al elegir una plataforma de evaluación, lo esencial es poder reconstruir ese recorrido de varios turnos y convertir el fallo en una corrección verificable en la siguiente prueba.
Galileo encaja mejor con equipos que ya tienen conversaciones reales y necesitan localizar problemas a lo largo de las llamadas a herramientas y configurar puntuación en producción. Maxim AI encaja mejor con equipos que carecen de casos límite y quieren que usuarios simulados sigan preguntando. Ambos evalúan agentes; la diferencia está en qué parte del trabajo hay que completar primero. Lo siguiente se basa en documentación oficial. Los escenarios y las cifras de aceptación son hipotéticos; no se han realizado pruebas prácticas de los productos.
Decidir primero si observar conversaciones o generar nuevos recorridos
La estructura de sesiones de Galileo agrupa traces relacionadas en una session y permite profundizar en los spans de llamadas a herramientas y sus entradas y salidas. Si el equipo de atención al cliente ya ha acumulado conversaciones fallidas, esto ayuda a los ingenieros a determinar en qué turno cambió de idea el usuario y si las llamadas posteriores siguieron usando el pedido o la intención anteriores. Al integrar, los registros de una misma conversación deben vincularse correctamente. La última respuesta por sí sola no explica el estado intermedio.
La función de simulación de Maxim permite configurar escenarios, perfiles de usuario y máximo de turnos para que la IA genere las entradas posteriores del usuario. Sus simulaciones por lotes registran escenarios y pasos esperados mediante conjuntos de datos y se ejecutan contra el HTTP endpoint del agente. Sirven para probar activamente recorridos como «negarse primero a dar el número de pedido y facilitarlo después» o «pasar de reembolso a cambio». Un usuario simulado no es un cliente real, y la tasa de aprobación de una simulación no es la tasa de éxito en producción.
Eso no significa que Galileo no tenga experimentos o datos sintéticos. Su documentación de conjuntos de datos admite entradas de experimentos, salidas esperadas y ejemplos sintéticos. Pero generar filas de prueba no equivale a un usuario que pregunta de forma continuada. La documentación de Maxim verificada aquí describe de forma más concreta ese comportamiento y sus condiciones de parada. Un equipo con simulador propio no necesita migrar su sistema de evaluación solo para añadir otro punto de entrada.
Aceptar por separado la selección de herramientas, la ejecución y el fin de la conversación
Las pruebas de herramientas de Maxim distinguen API o código ejecutables de schema destinados únicamente a probar la selección, y permiten modificar manualmente las respuestas de herramientas en Playground. Así pueden prepararse tres tipos de respuesta: éxito, tiempo de espera agotado y rechazo de negocio. Pero no debe deducirse que la plataforma sustituye automáticamente el backend real. En las pruebas por lotes, el equipo sigue teniendo que fijar las respuestas en una interfaz sandbox o capa adaptadora de pruebas para impedir que un reembolso simulado produzca un pago real.
El final también necesita una definición independiente. La simulación personalizada permite especificar modelo de simulación, comportamiento y condiciones de finalización, y añade automáticamente la herramienta end_simulation. Esta termina la conversación simulada, pero no certifica el éxito del negocio. Deben guardarse por separado «transferencia correcta a una persona», «abandono del usuario», «límite de turnos alcanzado» y «operación completada». No todos los finales de conversación deben contarse como problemas resueltos.
Tool Selection Quality de Galileo juzga si la herramienta y los parámetros son adecuados; Tool Error juzga si hubo un error de ejecución. En la primera, true significa selección correcta; en la segunda, true significa error detectado. Antes de agregarlas hay que unificar la dirección de las métricas. Ambas usan juicios de modelos y no sustituyen al registro contable de reembolsos ni a los códigos de estado de la interfaz.
Por ejemplo, si la consulta del pedido es correcta pero la interfaz agota el tiempo de espera, corrija primero la recuperación y la transferencia a una persona. Si la interfaz funciona pero el agente sigue enviando la antigua solicitud de reembolso, revise la actualización de intención y la gestión de estado. Si dice «completado» sin haber tenido éxito, compruebe que la respuesta esté limitada por el resultado de la herramienta. Los ingenieros necesitan intención, parámetros, respuestas y cambios de estado en cada turno; el responsable de negocio debe confirmar los resultados permitidos. Una caída de la puntuación total solo puede activar una investigación, no decidir por sí sola si hay que cambiar el prompt o reparar la interfaz.
Complementar la simulación con fallos en producción, sin sustituir la producción
La evaluación en producción de Maxim distingue session, trace y span: la conversación completa sirve para juicios entre turnos, una respuesta individual para calidad local y la configuración de nivel span se hace mediante el SDK. Las métricas de flujos de registros de Galileo permiten activar evaluaciones predefinidas o personalizadas y configurar muestreo por métrica. En ambos casos, primero hay que integrar suficiente contexto y después decidir el alcance de la puntuación.
Maxim permite crear conjuntos de datos a partir de registros y correcciones humanas. Galileo dispone de campos separados generated_output, ground_truth y metric_ground_truth para distinguir salida de la aplicación, respuesta esperada y puntuación esperada. Al reincorporar ejemplos fallidos, conserve la conversación original para diagnosticar y extraiga después las condiciones desencadenantes y el recorrido esperado para repetir la prueba. No convierta la salida errónea original en respuesta correcta ni suponga que importar los registros reconstruye el estado del backend.
La revisión humana debe centrarse en conflictos entre puntuaciones de modelos y hechos de herramientas, finalizaciones prematuras, cambios de opinión del usuario y promesas de alto riesgo. Añada variantes de simulación solo después de confirmar que el fallo procede realmente del agente. Si el evaluador considera fallida una transferencia correcta a una persona, corrija primero la regla de puntuación; no obligue al agente a seguir ejecutando para conseguir una nota alta. Las muestras mal puntuadas en producción también dependen del muestreo y de la composición del tráfico. Revise asimismo conversaciones normales para no aprender a corregir únicamente los recorridos que generan más quejas.
Calcular el presupuesto por recorrido y tratar aparte el control en ejecución
Una selección de prueba hipotética podría preparar 20 escenarios, con 3 respuestas de herramienta por escenario, repetidos 2 veces: en total, 120 conversaciones simuladas, cada una con un máximo de 8 turnos. Hasta 960 turnos no equivalen a 960 llamadas a modelos. También cuentan la generación del usuario simulado, la planificación interna del agente, varios evaluadores y los reintentos. Registre por separado los tokens y costes de esas llamadas, las llamadas a herramientas, la duración de las conversaciones y el tiempo de revisión humana, y añada los gastos aplicables, como suscripción de plataforma y almacenamiento de registros. La velocidad del gateway no determina el coste total de evaluación.
En particular, hay que comprobar a qué nivel se aplica el muestreo. La documentación de Maxim lo aclara: el muestreo y la limitación de tasa solo afectan a evaluaciones de nivel trace; en el nivel session se sigue evaluando cada conversación. Tool Selection Quality de Galileo envía varias solicitudes al modelo juez y también incrementa los costes. Por tanto, configurar un muestreo del 10% no permite estimar directamente toda la factura de la prueba de varios turnos en una décima parte.
Los límites de producto son igual de importantes. Este artículo trata los productos de evaluación y simulación de Maxim; Bifrost es un gateway de acceso a modelos y gobernanza. Sus condiciones de código abierto o gratuidad no deben trasladarse al servicio de evaluación. El actual Agent Control de Galileo ofrece, por separado, control de entradas y salidas durante la ejecución de flujos de trabajo. Recopilar registros y puntuarlos no significa que ya se haya configurado el bloqueo. Si se necesita bloquear en ejecución, deben verificarse por separado la integración del control, las condiciones de activación, los bloqueos erróneos y el tratamiento de negocio tras un fallo.
Para aceptar las 120 conversaciones anteriores, podría exigirse que todos los reembolsos no autorizados y las falsas promesas de finalización entren en la lista de bloqueo, informando por separado de las proporciones de éxito, transferencias conformes a una persona, fallos de herramientas y exceso de turnos. Al comparar antes y después de una corrección, mantenga fijos escenarios, respuestas de herramientas, configuraciones del agente y simulador y reglas de puntuación, y revise manualmente los casos discutidos. Los umbrales dependen del riesgo del negocio. Son métodos de aceptación propuestos, no resultados que los dos productos ya hayan alcanzado.
Si el problema actual es «no hay suficientes usuarios difíciles para probar cambios entre turnos», pruebe primero Maxim. Si es «ya hay muchas conversaciones malas, pero no sabemos qué paso falló», pruebe primero Galileo. Si aún no se han establecido estados de éxito del negocio, interfaces de prueba aisladas y vinculación de conversaciones, complete primero esas bases y compre después. Un entregable útil es un caso que señale el turno erróneo, reproduzca las condiciones de las herramientas y demuestre que la corrección funciona, no solo una media más alta.
Nota sobre el contenido:Este artículo se basa en información pública y sirve como referencia para comparar y elegir herramientas. Las funciones, los precios y las políticas relacionadas pueden cambiar en cualquier momento; consulta la información oficial más reciente.
Fuente original:docs.galileo.ai