Humanloop
프롬프트 관리, LLM 시스템 평가, 프로덕션 동작 관찰에 사용되었던 기업용 작업 공간으로, 현재는 서비스가 종료되었습니다.
Humanloop 팀은 Anthropic에 합류했으며 Humanloop 플랫폼의 서비스를 종료했습니다.
Humanloop 소개
Humanloop은 대규모 언어 모델로 구축한 애플리케이션을 개발하고 평가하기 위한 기업용 플랫폼이었습니다. 이 작업 공간은 프롬프트 관리, 다중 모델 플레이그라운드, 버전 추적, 데이터 세트, 오프라인 및 온라인 평가기, 사람 검토, CI/CD 평가, 추적, 모니터링, 로깅, 알림, 최종 사용자 피드백을 하나의 협업 공간에 통합했습니다. 기업용 제어 기능으로는 SSO와 SAML, 역할 기반 액세스, 지역별 호스팅, 서비스 수준 계약, 선택형 VPC 배포가 있었습니다. 팀이 Anthropic으로 이동함에 따라 플랫폼은 현재 종료되었습니다. 2025년 7월 30일에 과금이 중단되었으며, 서비스와 계정 데이터는 2025년 9월 8일에 영구 삭제될 예정이었습니다. 따라서 Humanloop은 이전 워크플로를 참고하는 용도로는 유용하지만, 신규 배포에 적합한 선택지는 아닙니다.
기능
프롬프트 관리 및 통제된 릴리스
팀은 프롬프트를 공동으로 관리하고 여러 LLM의 출력을 비교하며 모든 버전을 추적할 수 있었습니다. 또한 태그가 지정된 버전을 게시해 제품 및 엔지니어링 담당자가 동일한 릴리스 기록을 기준으로 작업할 수 있었습니다.
배포 전후 평가
팀은 버전이 관리되는 데이터 세트를 대상으로 오프라인 및 온라인 평가기를 실행하고, 코드 또는 모델 심사와 사람 검토를 결합하며, 평가 보고서를 CI/CD 릴리스 검사에 연결할 수 있었습니다.
프로덕션 추적 및 피드백
운영자는 LLM 추적 기록과 로그를 살펴보고 실시간 동작을 모니터링하며 알림을 설정할 수 있었습니다. 또한 최종 사용자 피드백을 각 응답을 생성한 프롬프트 및 모델 버전과 연결할 수 있었습니다.
장점
- 프롬프트 관리, 평가, 관측 가능성을 하나의 워크플로에 통합했습니다.
- SSO, 역할 권한, 지역별 호스팅, 선택형 VPC 배포를 포함한 기업용 제어 기능을 지원했습니다.
- 릴리스 검사를 위한 자동 평가기, 사람 검토, CI/CD 통합을 포함했습니다.
단점
- 플랫폼이 종료되었으므로 팀이 새로운 프로덕션 배포에 도입할 수 없습니다.
- 기존 체험판은 구성원 2명, 평가 실행 50회, 월간 로그 10,000건으로 제한되어 의미 있는 팀 테스트가 어려웠습니다.
- 기업용 배포 및 지원을 받으려면 영업팀과 상담해야 했으며, VPC 배포는 추가 옵션이었습니다.
요금제
무료 체험
- 구성원 2명
- 평가 실행 50회
- 월간 로그 10,000건
엔터프라이즈
- SSO 및 SAML
- 역할 기반 액세스 제어
- SLA가 포함된 실무 지원
- 선택형 VPC 배포
* 가격 정보는 참고용입니다. 최신 안내는 Humanloop 공식 웹사이트를 확인하세요.