hflow
로보틱스 팀을 위한 오픈 소스 데이터 품질 검증 및 관리 SDK
hflow 소개
hflow는 AI 모델 학습에 필요한 데이터 품질을 검사하는 로보틱스 팀용 데이터 품질 검증 SDK입니다. 팀은 자체 Python 처리 코드를 계속 사용하면서 소형 어댑터로 기존 워크플로에 연결할 수 있습니다. 품질 검사 결과는 쿼리 가능한 측정값으로 축적되고, 메타데이터, 품질 측정값, 라벨, 버전, 아티팩트 위치는 Parquet catalog에 기록됩니다. Docker Compose를 사용한 단일 테넌트 배포를 지원하며, 생성된 DAG bundle을 팀 자체 Airflow 3 환경에 배포할 수 있습니다. 빠른 시작에서는 예제 파이프라인을 프로세스 내에서 실행할 수도 있습니다.
적합한 사용자
적합한 활용 장면
로봇 학습 데이터 품질 검증
기존 Python 처리 코드를 워크플로에 연결
데이터셋 품질 측정값과 메타데이터 조회
Docker Compose 또는 Airflow 3에 배포
기능
자체 Python 코드 연결
변환, 품질 검사, 라벨링, 데이터 보강 로직을 팀 환경에서 Python 함수로 실행하고 어댑터를 통해 기존 코드에 연결할 수 있습니다.
조회 가능한 품질 근거
품질 검사 결과를 조회 가능한 측정값으로 저장하여 미디어를 다시 처리하지 않고 데이터셋별로 다른 임계값을 사용할 수 있습니다.
Parquet 데이터 카탈로그
메타데이터, 품질 측정값, 라벨, 버전 표식, 아티팩트 위치를 Parquet catalog에 저장하고 녹화 파일을 불러오지 않고 조회할 수 있습니다.
유연한 배포와 빠른 시작
단일 테넌트 Docker Compose 작업 공간과 팀 자체 Airflow 3 환경을 지원하며, 빠른 시작 예제는 프로세스 내에서 파이프라인을 실행할 수도 있습니다.
장점
- 팀 자체 처리 코드 유지
- 품질 검사 결과 재사용 및 조회
- Parquet catalog로 데이터 메타데이터 관리
- Docker 또는 Airflow 없이 빠르게 시작
단점
- 사용자 계정, RBAC 또는 멀티테넌트 제어 플레인을 제공하지 않음