Promptfoo o DeepEval: hacer que una regresión bloquee realmente la fusión tras cambiar un prompt
Promptfoo encaja con revisar combinaciones de prompts y modelos mediante configuración; DeepEval con integrar evaluación en pruebas Python. La clave es distinguir puntuación individual, tasa de aprobación del conjunto y comprobaciones CI que bloqueen de verdad la fusión, y fijar ejemplos y línea base del modelo evaluador.
Después de acortar un prompt, algunas respuestas de demostración mejoran, pero empiezan a faltar campos de pedidos. Quien publica necesita saber qué casos anteriores deben seguir pasando y quién impedirá fusionar si fallan. Promptfoo y DeepEval convierten salidas de modelos en pruebas automáticas; la diferencia más útil está en dónde se mantienen las reglas y cómo llegan los fallos a CI.
Si el equipo quiere comparar prompts, modelos y ejemplos en una configuración revisable, evalúa primero Promptfoo. Si la aplicación ya tiene pruebas Python, preparación de datos y aserciones de negocio, DeepEval encaja mejor al incorporar evaluación en esas pruebas. El análisis se basa en información oficial, no en una clasificación de resultados de ejecución.
Confirmar primero qué productos se comparan
El anuncio de adquisición de Promptfoo dice expresamente que seguirá manteniendo la herramienta de código abierto y admitiendo varios modelos. El repositorio actual indica que forma parte de OpenAI y sigue abierto bajo licencia MIT. No se debe deducir que cierre ni que solo pruebe modelos OpenAI. El repositorio oficial de DeepEval ofrece un framework de evaluación de código abierto; la plataforma alojada Confident AI es otra capa de servicio.
Ambos pueden participar en regresiones previas a publicar. Este artículo solo compara cómo preservar comportamientos confirmados después de cambiar prompts, sin sustituir esa decisión por cantidad de funciones de red teaming, monitorización de producción o puntuaciones de benchmarks del proveedor.
Quién mantiene las reglas de fallo
La introducción de Promptfoo y su documentación de aserciones explican evaluaciones por CLI o biblioteca que verifican igualdad, estructura JSON y funciones personalizadas. La configuración facilita comparar prompts viejos y nuevos con los mismos ejemplos. A cambio, preparar datos complejos y aplicar criterios de negocio sigue necesitando código: YAML no entiende automáticamente las reglas de pedidos.
La documentación de pruebas unitarias CI de DeepEval separa carga de datos, construcción de casos y ejecución. Los ejemplos pueden salir de CSV, JSON o código, incorporarse con assert_test y ejecutarse mediante deepeval test run. Quien ya mantiene pruebas Python puede conservar esa responsabilidad, pero los compañeros de producto quizá no puedan modificar directamente las funciones. Configuración y Python son diferencias del modo principal de trabajo, no límites absolutos de capacidades.
Por ejemplo, supongamos que un resumen de atención debe incluir order_id y no puede convertir «reembolso solicitado» en «reembolso recibido». Comprueba primero lo primero con estructura o reglas explícitas; para lo segundo, considera después un modelo evaluador con criterios claros. Separar condiciones deterministas evita que una vaga «puntuación de calidad» asuma a la vez formato y significado de negocio.
Tener una puntuación no equivale a bloquear la fusión
La GitHub Action de Promptfoo ofrece fail-on-threshold, medido como porcentaje de pruebas aprobadas de todo el conjunto, de 0 a 100. G-Eval de DeepEval permite definir threshold para una métrica individual; threshold=None es modo de solo puntuación. Tasa global y puntuación individual no son la misma magnitud, aunque se escriban 0.9 o 90%.
En un ejemplo hipotético de 100 pruebas de igual peso, alcanzar 95% aún puede dejar 5 fallos. Si nunca puede faltar el identificador del pedido, esas pruebas críticas deben pasar obligatoriamente por separado, no quedar ocultas por la media. Es una política de publicación que el equipo debe diseñar, no una garantía automática al elegir framework.
DeepEval también distingue pruebas unitarias con assert_test y evaluate: lo primero hace fallar la prueba si las métricas no cumplen; lo segundo recoge resultados y no hace fallar por sí mismo la compilación. Con ambos hay que verificar que el fallo produzca un estado CI fallido y que esa comprobación sea obligatoria antes de fusionar. Que exista un informe o una página con puntuación roja no demuestra que se bloquee la fusión.
Fijar el evaluador para explicar las diferencias
El llm-rubric de Promptfoo permite especificar expresamente el provider evaluador y sus parámetros. G-Eval admite model y evaluation_steps; si no se dan pasos, los genera a partir de criteria. Para comparar regresiones, guarda modelo evaluador, reglas y pasos, no solo el último número. El evaluador emite un juicio según reglas, no una verdad factual ni una tasa de precisión humana que pueda asumirse directamente.
Conviene guardar en una misma línea base el commit de aplicación, prompt, instantánea de ejemplos, salidas esperadas, versión de biblioteca de evaluación, modelo evaluador y reglas de puntuación. Fija también la versión del modelo cuando sea posible y registra muestreo y caché. En Promptfoo Action, promptfoo-version es latest por defecto; la referencia oficial no debería depender de una versión flotante. Fijar esas condiciones reduce cambios inexplicables, pero no garantiza resultados idénticos del modelo remoto cada vez.
Distingue de antemano tres resultados: respuesta de negocio inadecuada, tiempo de espera agotado o error de autenticación de la llamada, y fluctuación del evaluador en casos límite. Un fallo de infraestructura no puede contar como respuesta aprobada; reejecutar hasta conseguir verde tampoco resuelve el problema. Calibra primero con respuestas buenas y malas confirmadas por el equipo y define después cuándo repetir y revisar manualmente. Puntuaciones con el mismo nombre en ambos solo tienen sentido comparativo si coinciden datos, evaluadores y reglas.
Validar por separado pruebas abiertas y servicios alojados
La página de planes de Promptfoo incluye todas las evaluaciones LLM en Community y permite ejecución local o alojamiento propio; colaboración de equipo, SSO y nube alojada figuran en Enterprise. El inicio rápido de DeepEval explica que las evaluaciones locales funcionan de forma independiente y que, tras iniciar sesión, se pueden enviar resultados a Confident AI. La marca de línea base official de la documentación CI exige CONFIDENT_API_KEY porque se guarda en Confident AI. La gestión de líneas base en nube no debe tratarse como capacidad local sin cuenta.
Código abierto tampoco significa ejecución sin coste: llamadas al modelo probado y al evaluador, recursos CI y revisión de fallos necesitan presupuesto. Para elegir, usa los mismos ejemplos confirmados y añade un campo ausente, un error semántico y un fallo de llamada simulado. Comprueba qué regla falla, si CI bloquea y si el resultado se rastrea hasta una línea base fija. Es un método de aceptación propuesto, no una prueba ya completada para este artículo.
Si la tarea principal es revisar diferencias de configuración entre prompts y modelos, prueba primero Promptfoo. Si consiste en reutilizar preparación Python, aserciones de negocio y procesos de prueba, prueba primero DeepEval. Elige la vía cuyas reglas de fallo pueda mantener el equipo y demuestra con una comprobación que falle deliberadamente que protege de verdad la entrada a publicación.
Nota sobre el contenido:Este artículo se basa en información pública y sirve como referencia para comparar y elegir herramientas. Las funciones, los precios y las políticas relacionadas pueden cambiar en cualquier momento; consulta la información oficial más reciente.
Fuente original:www.promptfoo.dev