hflow
Open-Source-SDK für Datenqualitätsprüfung und -verwaltung in Robotikteams
Über hflow
hflow ist ein SDK zur Validierung der Datenqualität für Robotikteams, mit dem die für das Training von AI-Modellen benötigte Datenqualität geprüft wird. Teams können ihren eigenen Python-Verarbeitungscode weiterverwenden und ihn über kleine Adapter in bestehende Abläufe integrieren. Ergebnisse von Qualitätsprüfungen werden als abfragbare Messwerte erfasst; Metadaten, Qualitätsmessungen, Labels, Versionen und Artefaktstandorte werden in einem Parquet catalog gespeichert. Das Projekt unterstützt die Single-Tenant-Bereitstellung mit Docker Compose sowie die Bereitstellung des erzeugten DAG bundle in der eigenen Airflow 3-Umgebung des Teams; der Schnellstart kann eine Beispielpipeline auch im Prozess ausführen.
Am besten geeignet
Beste Einsatzszenarien
Qualität von Roboter-Trainingsdaten prüfen
Bestehenden Python-Verarbeitungscode in einen Ablauf integrieren
Datenqualitätsmessungen und Metadaten von Datensätzen abfragen
Mit Docker Compose oder Airflow 3 bereitstellen
Funktionen
Eigenen Python-Code integrieren
Transformations-, Qualitätsprüfungs-, Labeling- und Datenanreicherungslogik kann als Python-Funktionen in der Teamumgebung laufen und über Adapter an bestehenden Code angebunden werden.
Abfragbare Qualitätsnachweise
Ergebnisse von Qualitätsprüfungen werden als abfragbare Messwerte gespeichert; verschiedene Datensätze können ohne erneute Medienverarbeitung unterschiedliche Schwellenwerte verwenden.
Parquet-Datenkatalog
Metadaten, Qualitätsmessungen, Labels, Versionsmarkierungen und Artefaktstandorte werden in einem Parquet catalog gespeichert und können ohne das Laden von Aufnahmen abgefragt werden.
Flexible Bereitstellung und Schnellstart
Unterstützt Single-Tenant-Docker-Compose-Arbeitsbereiche und eigene Airflow 3-Umgebungen von Teams; Schnellstartbeispiele können Pipelines auch im Prozess ausführen.
Vorteile
- Eigenen Verarbeitungscode des Teams beibehalten
- Ergebnisse von Qualitätsprüfungen wiederverwenden und abfragen
- Datenmetadaten mit einem Parquet catalog verwalten
- Schnellstart ohne Docker oder Airflow
Nachteile
- Keine Benutzerkonten, kein RBAC und keine mandantenfähige Steuerungsebene