hflow
SDK de código abierto para validar y gestionar la calidad de datos en equipos de robótica
Acerca de hflow
hflow es un SDK de validación de la calidad de datos para equipos de robótica, diseñado para comprobar la calidad de los datos necesarios para entrenar modelos de IA. Los equipos pueden conservar su propio código de procesamiento Python y conectarlo a los flujos existentes mediante pequeños adaptadores. Los resultados de las comprobaciones de calidad se conservan como mediciones consultables, mientras que los metadatos, las mediciones de calidad, las etiquetas, las versiones y las ubicaciones de los artefactos se registran en un Parquet catalog. El proyecto admite el despliegue para un solo inquilino con Docker Compose y el despliegue del DAG bundle generado en el entorno Airflow 3 del equipo; el inicio rápido también puede ejecutar un pipeline de ejemplo dentro del proceso.
Ideal para
Mejores casos de uso
Validar la calidad de los datos de entrenamiento de robots
Conectar código de procesamiento Python existente a un flujo
Consultar las mediciones de calidad y los metadatos de un conjunto de datos
Desplegar con Docker Compose o Airflow 3
Funciones
Conectar código Python propio
Ejecuta la lógica de transformación, comprobación de calidad, etiquetado y enriquecimiento de datos como funciones Python en el entorno del equipo, con adaptadores para el código existente.
Evidencia de calidad consultable
Guarda los resultados de las comprobaciones de calidad como mediciones consultables; cada conjunto de datos puede usar umbrales distintos sin volver a procesar los medios.
Catálogo de datos Parquet
Guarda metadatos, mediciones de calidad, etiquetas, marcas de versión y ubicaciones de artefactos en un Parquet catalog, consultable sin cargar las grabaciones.
Despliegue flexible e inicio rápido
Admite espacios de trabajo Docker Compose para un solo inquilino y entornos Airflow 3 propios de los equipos; los ejemplos de inicio rápido también pueden ejecutar pipelines dentro del proceso.
Ventajas
- Conservar el código de procesamiento propio del equipo
- Reutilizar y consultar los resultados de calidad
- Gestionar metadatos con un Parquet catalog
- Inicio rápido sin Docker ni Airflow
Limitaciones
- No proporciona cuentas de usuario, RBAC ni plano de control multiinquilino