hflow
SDK open source de validation et de gestion de la qualité des données pour les équipes de robotique
À propos de hflow
hflow est un SDK de validation de la qualité des données pour les équipes de robotique, conçu pour vérifier la qualité des données nécessaires à l'entraînement de modèles d'IA. Les équipes peuvent conserver leur propre code de traitement Python et le connecter à leurs flux existants grâce à de petits adaptateurs. Les résultats des contrôles qualité sont conservés comme mesures interrogeables, tandis que les métadonnées, mesures de qualité, étiquettes, versions et emplacements des artefacts sont enregistrés dans un Parquet catalog. Le projet prend en charge un déploiement mono-locataire avec Docker Compose ainsi que le déploiement du DAG bundle généré dans l'environnement Airflow 3 de l'équipe ; le démarrage rapide peut aussi exécuter un pipeline d'exemple dans le processus.
Idéal pour
Meilleurs cas d'utilisation
Valider la qualité des données d'entraînement de robots
Connecter un code de traitement Python existant à un flux
Interroger les mesures de qualité et les métadonnées d'un jeu de données
Déployer avec Docker Compose ou Airflow 3
Fonctionnalités
Connecter son code Python
Exécutez les logiques de transformation, de contrôle qualité, d'étiquetage et d'enrichissement des données comme des fonctions Python dans l'environnement de l'équipe, avec des adaptateurs pour le code existant.
Preuves de qualité interrogeables
Enregistrez les résultats des contrôles qualité comme des mesures interrogeables ; chaque jeu de données peut utiliser des seuils différents sans retraiter les médias.
Catalogue de données Parquet
Stockez les métadonnées, mesures de qualité, étiquettes, marqueurs de version et emplacements d'artefacts dans un Parquet catalog, interrogeable sans charger les enregistrements.
Déploiement flexible et démarrage rapide
Prenez en charge les espaces de travail Docker Compose mono-locataires et les environnements Airflow 3 de l'équipe ; les exemples de démarrage peuvent aussi exécuter des pipelines dans le processus.
Avantages
- Conserver le code de traitement de l'équipe
- Réutiliser et interroger les résultats des contrôles qualité
- Gérer les métadonnées avec un Parquet catalog
- Démarrage rapide sans Docker ni Airflow
Limites
- Aucun compte utilisateur, RBAC ou plan de contrôle multi-locataire n'est fourni