Repro Lens: verificación de reproducibilidad para agentes de ML

Repro Lens es una herramienta de verificación de reproducibilidad para agentes de ML y de codificación: escanea el código en busca de riesgos de reproducibilidad, repite experimentos y compara las salidas antes y después de los cambios. Si modificas código de ML y quieres confirmar que los resultados del experimento no se han roto, este es su uso principal; el análisis estático solo necesita Python 3.11+ y Git, sin dependencias de ML ni claves de API, pero la repetición de experimentos requiere las dependencias del propio experimento y debe activarse explícitamente por ti.

Para quién es

• Ingenieros de ML/investigación que necesitan validar la reproducibilidad de experimentos antes y después de modificar código, y equipos que configuran flujos de auditoría de reproducibilidad para agentes de codificación.
• Usuarios que solo quieren hacer un escaneo estático: sin dependencias de ML ni claves de API; el código escaneado nunca se importa ni se ejecuta, y la salida son hallazgos estáticos con la ubicación de los archivos.
• Casos no adecuados: sin un entorno de Git, ninguna de las dos rutas de instalación está disponible; con Python inferior a 3.11 el verificador estático no funciona. Aparte de estos requisitos, el material fuente no indica otros prerrequisitos de sistema, y no se especifica oficialmente si se admiten plataformas como Windows.
• Lo que no se afirma en la evidencia no debe asumirse: no declara qué lenguajes de texto o código admite, ni en qué clientes de agentes está disponible.

Primer intento en 3 minutos

Requisitos previos: tener instalados Python 3.11+, Git y uv en la máquina. La ruta principal recomendada es instalar una versión fija con uv desde el repositorio oficial:

uv tool install 'git+https://github.com/00200200/[email protected]'

La alternativa es instalar la misma URL de git con pip en un entorno virtual (también requiere Git); es solo una opción secundaria, no constituye otra entrada principal.

Tras la instalación, empieza con un análisis estático de bajo riesgo y solo lectura: en tu proyecto, pide al agente o a la terminal la tarea «usa repro-lens check para verificar si este archivo tiene riesgos de reproducibilidad conocidos». Corresponde a la operación principal check: devuelve hallazgos estáticos con la ubicación de los archivos, y el código escaneado nunca se importa. La señal de éxito es que la salida liste hallazgos con ubicaciones de archivo (incluso si la conclusión es «no se encontraron riesgos», significa que se ejecutó correctamente).

Nota: check es una operación de diagnóstico; esto solo significa que no importa el código escaneado. Si lee o escribe archivos, ejecuta comandos o accede a la red, el material fuente no lo indica y no puede confirmarse. La repetición de experimentos (verify, que exige que las salidas declaradas de dos ejecuciones coincidan) ejecuta realmente el experimento, por lo que es una operación con efectos secundarios; no la uses en el primer intento. Si la usas, confirma primero que las dependencias del experimento están completas y verifica explícitamente antes de activarla.

Casos de uso

Caso uno: auditoría estática antes de modificar un script de entrenamiento. Pide al agente «ejecuta repro-lens check sobre el script de entrenamiento». La herramienta ejecuta la operación check y devuelve hallazgos estáticos con ubicaciones de archivo, sin importar tu código. Con ello puedes juzgar si el cambio introduce riesgos de reproducibilidad conocidos; si el material fuente no ofrece más detalles (como la lista concreta de reglas), solo se puede confirmar hasta «se obtienen hallazgos con ubicaciones».

Caso dos: comparación de salidas tras la corrección. Requisito previo: haber guardado un informe antes del cambio mediante el flujo de trabajo oficial. Pide al agente «usa verify de repro-lens para repetir el experimento y luego compare para diferenciar los dos informes guardados». verify exige que las salidas declaradas de ambas ejecuciones coincidan exactamente, y compare se usa para hacer diff de informes guardados. Resultado esperado: si verify pasa, las salidas coinciden con lo declarado; compare muestra las diferencias entre informes. La repetición requiere las dependencias del propio experimento y es un comando explícito: la herramienta no repetirá experimentos automáticamente por ti.

Límites de uso

• Acceso a archivos y comandos: check no importa el código escaneado; verify ejecuta el experimento (requiere dependencias) y la repetición es siempre un comando explícito; el hook de pre-commit (repositorio repro-lens, rev v0.3.0, id repro-lens) solo revisa código y políticas del proyecto, sin repetir experimentos automáticamente. No se indica oficialmente si hay acceso a la red.
• Puntos de confirmación: cualquier operación que ejecute experimentos (verify) debe confirmarse antes de activarla, revisando la configuración del experimento y sus efectos secundarios.
• Diferencias de instalación: se recomienda instalar con uv la versión fija v0.3.0; la instalación con pip en un entorno virtual es la alternativa oficial. El material fuente no menciona marketplaces ni otras plataformas de instalación; no lo asumas.
• Integración con agentes: el archivo skills/reproducibility/SKILL.md del repositorio puede guiar a un agente de codificación existente para realizar auditorías o correcciones autorizadas; su lanzador y la CLI usan el mismo motor. El repositorio completo es también un plugin de Codex (incluye .codex-plugin/plugin.json). Aparte de esto, no se enumeran oficialmente qué clientes de agentes admite concretamente.
• Información clave sin confirmar: el comportamiento de red, el rango de lenguajes de código admitidos y los límites de lectura/escritura de check/compare no tienen declaración oficial; antes de usarlo, apóyate en la documentación del repositorio.