hflow
SDK de código aberto para validação e gestão da qualidade de dados em equipes de robótica
Sobre hflow
hflow é um SDK de validação da qualidade de dados para equipes de robótica, criado para verificar a qualidade dos dados necessários ao treinamento de modelos de IA. As equipes podem continuar usando seu próprio código de processamento Python e conectá-lo aos fluxos existentes por meio de pequenos adaptadores. Os resultados das verificações de qualidade são registrados como medições consultáveis, enquanto metadados, medições de qualidade, rótulos, versões e locais de artefatos são armazenados em um Parquet catalog. O projeto oferece implantação single-tenant com Docker Compose e implantação do DAG bundle gerado no ambiente Airflow 3 da equipe; o início rápido também pode executar um pipeline de exemplo dentro do processo.
Ideal para
Melhores casos de uso
Validar a qualidade dos dados de treinamento de robôs
Conectar código de processamento Python existente a um fluxo
Consultar medições de qualidade e metadados de conjuntos de dados
Implantar com Docker Compose ou Airflow 3
Funcionalidades
Conectar código Python próprio
Execute a lógica de transformação, verificação de qualidade, rotulagem e enriquecimento de dados como funções Python no ambiente da equipe, com adaptadores para o código existente.
Evidências de qualidade consultáveis
Armazene os resultados das verificações de qualidade como medições consultáveis; diferentes conjuntos de dados podem usar limites diferentes sem reprocessar a mídia.
Catálogo de dados Parquet
Armazene metadados, medições de qualidade, rótulos, marcadores de versão e locais de artefatos em um Parquet catalog, consultável sem carregar as gravações.
Implantação flexível e início rápido
Oferece suporte a espaços de trabalho Docker Compose single-tenant e ambientes Airflow 3 próprios das equipes; exemplos de início rápido também podem executar pipelines dentro do processo.
Vantagens
- Manter o código de processamento da própria equipe
- Reutilizar e consultar resultados de verificações de qualidade
- Gerenciar metadados com um Parquet catalog
- Início rápido sem Docker ou Airflow
Limitações
- Não fornece contas de usuário, RBAC ou plano de controle multi-tenant