Repro Lens: verificação de reprodutibilidade para agentes de ML

Repro Lens é uma ferramenta de verificação de reprodutibilidade para agentes de ML e de codificação: varre riscos de reprodutibilidade no código, reproduz experimentos e compara as saídas antes e depois das alterações. Se você modificou código de ML e quer confirmar que os resultados experimentais não foram quebrados, esse é o uso principal; a análise estática precisa apenas de Python 3.11+ e Git, sem dependências de ML ou chaves de API, mas a reprodução de experimentos exige as dependências do próprio experimento e deve ser acionada explicitamente por você.

Para quem é indicado

• Engenheiros de ML/pesquisa que precisam validar a reprodutibilidade de experimentos antes e depois de alterar código, e equipes que configuram fluxos de auditoria de reprodutibilidade para agentes de codificação.
• Usuários que desejam apenas varredura estática: sem dependências de ML, sem chaves de API; o código analisado não é importado nem executado, e a saída traz descobertas estáticas com localização de arquivo.
• Casos em que não é adequado: sem ambiente Git, nenhum dos dois caminhos de instalação funciona; com Python inferior a 3.11, o verificador estático não roda. Além desses requisitos, o material-fonte não menciona outros pré-requisitos de sistema, e o suporte a Windows ou outras plataformas não é oficialmente informado.
• Não assuma o que a evidência não declara: ela não afirma quais linguagens de texto ou código são suportadas, nem em quais clientes de agente está disponível.

Primeira tentativa em 3 minutos

Pré-requisitos: Python 3.11+, Git e uv instalados na máquina. O caminho principal recomendado é instalar uma versão fixada a partir do repositório oficial usando uv:

uv tool install 'git+https://github.com/00200200/[email protected]'

Como alternativa, instale com pip no mesmo URL do git dentro de um ambiente virtual (também exige Git); trata-se apenas de uma opção secundária, não de outro caminho principal.

Após a instalação, faça primeiro uma verificação estática de baixo risco e somente leitura: no seu projeto, peça ao agente ou terminal a tarefa «use o repro-lens check para verificar se este arquivo tem riscos conhecidos de reprodutibilidade». A operação central correspondente é check: ela retorna descobertas estáticas com localização de arquivo, e o código analisado nunca é importado. O sinal de sucesso é a saída listar descobertas com localização de arquivo (mesmo que a conclusão seja «nenhum risco encontrado», isso indica que a execução funcionou).

Observação: check é uma operação de diagnóstico — isso apenas significa que ela não importa o código analisado; se ela lê ou grava arquivos, executa comandos ou acessa a rede, o material-fonte não informa e não é possível confirmar. A reprodução de experimentos (verify, que exige que as saídas declaradas das duas execuções sejam idênticas) executa o experimento de fato, ou seja, é uma operação com efeitos colaterais; não use na primeira tentativa. Se for usá-la, confirme antes que as dependências do experimento estão completas e confirme explicitamente antes de acionar.

Casos de uso

Caso 1: auditoria estática antes de modificar um script de treinamento. Peça ao agente «execute o repro-lens check no script de treinamento». A ferramenta executa a operação check, retorna descobertas estáticas com localização de arquivo e não importa seu código. Com isso, você pode avaliar se a alteração introduz riscos conhecidos de reprodutibilidade; se detalhes além do material-fonte (como a lista específica de regras) não forem fornecidos, só é possível confirmar até o ponto de «obter descobertas com localização».

Caso 2: comparação de saídas após uma correção. Pressupõe que você já tenha salvo um relatório antes da alteração por meio do fluxo de trabalho oficial. Peça ao agente «use o verify do repro-lens para reproduzir o experimento e depois o compare para diferenciar os dois relatórios salvos». O verify exige que as saídas declaradas das duas execuções sejam exatamente idênticas, e o compare faz o diff entre relatórios salvos. Resultado esperado: o verify aprovado indica que a saída corresponde ao declarado, e o compare mostra as diferenças entre os relatórios. A reprodução exige as dependências do próprio experimento e é um comando explícito — a ferramenta não reproduz automaticamente por você.

Limites de uso

• Acesso a arquivos e comandos: check não importa o código analisado; verify executa o experimento (exige dependências), e a reprodução é sempre um comando explícito — o hook pre-commit (repositório repro-lens, rev v0.3.0, id repro-lens) apenas verifica código e políticas do projeto, sem reprodução automática. Se há acesso à rede, não é informado oficialmente.
• Ponto de confirmação: qualquer operação que execute o experimento (verify) deve ter sua configuração e efeitos colaterais confirmados antes de ser acionada.
• Diferenças de instalação: recomenda-se instalar a versão fixada v0.3.0 com uv; a instalação com pip em ambiente virtual é a alternativa oficial. O material-fonte não menciona marketplace nem outras formas de instalação em plataformas — não presuma.
• Integração com agentes: o arquivo skills/reproducibility/SKILL.md no repositório pode orientar um agente de codificação existente a realizar auditorias ou correções autorizadas; seu inicializador e a CLI usam o mesmo motor. O repositório completo também é um plugin Codex (com .codex-plugin/plugin.json). Além disso, quais clientes de agente são suportados não está oficialmente listado.
• Informações-chave não confirmadas: comportamento de rede, alcance de linguagens de código suportadas e os limites de leitura/gravação de check/compare não têm declaração oficial; antes de usar, consulte a documentação do repositório.