Arize Phoenix y Braintrust: quién convierte una traza fallida en una base de pruebas aprobada por el equipo

Phoenix encaja con equipos de ingeniería dispuestos a mantener el autoalojamiento y el código de los experimentos. La asignación de revisiones, los resultados de varios revisores y las instantáneas con nombre de Braintrust se ajustan más a la colaboración entre funciones. La elección exige revisar cómo un fallo se convierte en un ejemplo aprobado y quién mantiene las versiones, los criterios de puntuación y las configuraciones que permiten repetir las pruebas.

Fuente: arize.com
15 de noviembre de 2026
8 min

Un asistente de atención al cliente convierte «solicitud de reembolso enviada» en «reembolso recibido». El ingeniero encuentra la traza del fallo y el responsable de producto identifica el error. Pero, cuando vuelvan a cambiar el prompt, ¿podrá el equipo encontrar el mismo caso, la misma respuesta esperada y el mismo sistema de puntuación? Arize Phoenix y Braintrust ofrecen trazado, evaluación, anotación humana y conjuntos de datos. Aquí se compara cómo una mala respuesta se convierte en una base de pruebas que el equipo pueda traspasarse.

Si el equipo de ingeniería está dispuesto a mantener la instancia, la conversión de ejemplos y el código de los experimentos, merece la pena evaluar primero la vía autoalojada de Phoenix. Si producto y los expertos de negocio necesitan asignar revisiones continuamente, gestionar opiniones de varias personas y mantener instantáneas con nombre, el proceso colaborativo de Braintrust se ajusta mejor a ese trabajo, aunque hay que comprobar el plan. Lo que sigue se basa en documentación oficial. El ejemplo de reembolso es un escenario de análisis, no una prueba realizada personalmente.

Convertir primero el error en un ejemplo de origen rastreable

La interfaz de anotación humana de Phoenix permite configurar categorías, puntuaciones continuas y texto libre, muestra el autor y el origen humano, de modelo o de código de las anotaciones y permite filtrar spans por anotación para importarlos a un conjunto de datos. Los compañeros de negocio pueden explicar que «se exageró el estado», sin reducir la revisión a una mala nota.

Sin embargo, debe existir una conexión verificable entre las entradas y salidas del ejemplo y la traza original. La documentación sobre vinculación del origen de Phoenix distingue entre un ID guardado en metadata y un enlace source explícito; no cualquier importación incluye source. El ingeniero debe comprobar con un ejemplo real si puede volver al span original del proyecto correcto, en lugar de conservar solo una respuesta separada de su contexto.

La gestión de revisiones de Braintrust permite asignar a miembros filas de registros, experimentos o conjuntos de datos, consultarlas por estados pendientes, asignadas a mí y completadas, y añadirlas directamente a un conjunto de datos. Su estructura de conjuntos de datos separa input, expected, metadata y tags, y también permite guardar una referencia a la traza en input. Ambos conectan problemas en producción con experimentos fuera de línea. La diferencia está en si el equipo necesita más control técnico o un punto de entrada para asignar revisiones cotidianas.

Para el caso del reembolso, el responsable de producto debe dejar claro: «La solicitud se ha enviado; no se debe afirmar que el dinero ha llegado». El ingeniero guarda la entrada del usuario de aquel momento, el contexto necesario y las respuestas reproducibles de las herramientas. No se debe elevar la salida errónea sin cambios a respuesta esperada ni suponer que una referencia a la traza equivale a un entorno de negocio reproducible. Deben conservarse dos usos distintos, material de investigación y expected confirmado, y revisarse los campos sensibles antes de incorporar el caso a la base de pruebas.

Que dos personas puntúen no significa que exista una respuesta esperada acordada

Phoenix permite consultar opiniones y razones de distintos anotadores, por lo que sirve para que ingeniería y negocio discutan sobre el mismo span. Las reglas para varios revisores de Braintrust son más explícitas: las puntuaciones de cada persona se guardan de forma independiente, y las numéricas y categóricas se promedian en el span padre. El texto o los resultados categóricos escritos en expected no se pueden promediar; hay que elegir un resultado como valor base.

Por tanto, si dos expertos dan 0 y 1, la media de 0.5 solo indica desacuerdo, no un estado de reembolso «medio correcto». El equipo debe establecer quién resuelve, cómo se documentan los motivos y cuándo puede entrar un ejemplo en el conjunto de datos aprobado. Es una responsabilidad del negocio que la plataforma no asume. La visibilidad de las puntuaciones de Braintrust solo es un filtro de visualización en el formulario de revisión. Las puntuaciones ocultas se pueden volver a mostrar; no debe tratarse como una separación de permisos.

Fijar la versión de los datos antes de debatir si hubo mejora

La descripción de los conjuntos de datos de Phoenix especifica que inserciones, actualizaciones y eliminaciones tienen versiones y que los experimentos pueden fijarse a una versión concreta. Braintrust también sigue los cambios, pero las instantáneas con nombre pertenecen a Pro y Enterprise. Si han cambiado más de 20,000 filas desde la instantánea, la restauración falla. El historial de versiones, una base aprobada con nombre para el equipo y la capacidad de restauración son compromisos distintos que no se resumen en «tiene control de versiones».

Por ejemplo, se aprueban primero 20 casos de reembolso y después se añaden 5 casos límite. Un 18/20 en el experimento antiguo y un 22/25 en el nuevo no demuestran directamente que el modelo haya empeorado o mejorado. Hay que volver a ejecutar la configuración antigua y la nueva sobre la misma versión aprobada y explicar por separado los ejemplos añadidos. La integración con evaluaciones de Braintrust permite cargar por versión o versión con nombre; los entornos se vinculan a instantáneas. Incluso un nombre de entorno cómodo de invocar debe resolverse y registrar la versión real, para evitar que un cambio posterior de destino altere la referencia.

La API de experimentos de Phoenix separa dataset, task y evaluators y permite volver a puntuar experimentos terminados. Eval de Braintrust también distingue datos, tarea y evaluadores. Reevaluar salidas antiguas y volver a invocar la aplicación son dos experimentos diferentes. En el traspaso, además de la versión de los datos, deben registrarse el código de la aplicación, los prompts, el modelo y el proveedor, los parámetros de muestreo, las instantáneas de herramientas o conocimientos y las reglas de los evaluadores y el modelo juez. Las repeticiones con interfaces externas deben realizarse en un entorno de pruebas controlado; los casos de reembolso no deben volver a desencadenar operaciones reales.

El responsable de ingeniería mantiene estos registros, mientras que el responsable de negocio aprueba expected y los criterios de puntuación. Guardar la configuración completa reduce el riesgo de comparar cosas distintas, pero no garantiza que un modelo remoto devuelva siempre la misma respuesta. La revisión debe examinar los cambios y los motivos de fallo de cada ejemplo, no solo la puntuación total.

Implantar la colaboración junto con presupuesto y permisos

La documentación de autoalojamiento de Phoenix ofrece un despliegue gratuito, pero alguien debe seguir asumiendo servidores, actualizaciones, copias de seguridad y llamadas a modelos. La licencia actual es Elastic License 2.0 e incluye restricciones a la prestación de servicios alojados o gestionados a terceros. Por ello, no conviene describirlo genéricamente como código abierto según la OSI. Su documentación de permisos enumera admin, member y viewer y remite SAML SSO y el RBAC multinivel a Arize AX. No deben atribuirse a Phoenix las capacidades empresariales de AX.

En los precios actuales de Braintrust, Starter cuesta 0 dólares estadounidenses al mes y solo incluye 1 criterio de puntuación de revisión humana por proyecto. Pro cuesta 249 dólares estadounidenses al mes y admite criterios de puntuación humana ilimitados y RBAC básico. Los datos procesados y la puntuación automática tienen además cuotas de uso y cargos por exceso; los costes de los modelos también deben comprobarse por separado. Que el número de usuarios, conjuntos de datos y experimentos sea ilimitado no implica que lo sean los procesos de revisión o los costes de ejecución.

También deben distinguirse los límites del servicio al desplegarlo. Según la descripción del despliegue de Braintrust, en BYOC el proveedor opera el plano de datos en la cuenta de nube del cliente. La interfaz, la autenticación y los metadatos ligeros siguen gestionados por el proveedor, y las funciones habilitadas aún pueden llamar a modelos externos. La descripción oficial del producto presenta BYOC y el plano de datos autoalojado como opciones Enterprise. Por tanto, «en la propia nube» no significa que toda la plataforma funcione sin conexión ni que cumpla automáticamente los requisitos de seguridad.

Al elegir, tome un registro de fallo del que se hayan eliminado los datos sensibles, pida a los compañeros de negocio que completen la anotación y resuelvan los desacuerdos y haga que otro ingeniero repita el experimento con una versión fija. Si el principal obstáculo es el control del despliegue y de los experimentos, y el equipo puede asumir el mantenimiento, pruebe primero Phoenix. Si es la asignación de revisiones, los resultados de varios revisores y el traspaso de una base aprobada, compruebe primero Braintrust y el nivel de pago correspondiente. El criterio de aceptación es que el siguiente compañero pueda explicar y repetir el caso, no que ya aparezca una puntuación en el panel.

Nota sobre el contenido:Este artículo se basa en información pública y sirve como referencia para comparar y elegir herramientas. Las funciones, los precios y las políticas relacionadas pueden cambiar en cualquier momento; consulta la información oficial más reciente.

Fuente original:arize.com