Langfuse
LLM 애플리케이션과 AI 에이전트를 추적, 평가 및 개선하는 오픈 소스 플랫폼입니다.
Langfuse 소개
Langfuse는 LLM 애플리케이션과 에이전트를 구축하는 팀을 위한 오픈 소스 AI 엔지니어링 플랫폼입니다. 추적, 프롬프트 관리, 평가, 데이터세트 및 프로덕션 분석을 하나의 워크플로로 통합합니다. 개발자는 Python 또는 JavaScript SDK, OpenTelemetry, LLM 게이트웨이 또는 100개 이상의 프레임워크 통합을 통해 LLM 및 비LLM 호출을 수집할 수 있습니다. 추적에는 지연 시간, 비용, 검색 단계, API 호출, 세션, 사용자 및 에이전트 그래프가 표시되어 팀이 실패 원인을 조사하고 변경 사항을 비교하는 데 도움이 됩니다. 프롬프트 버전 관리는 협업과 배포를 지원하며, 평가 도구는 출력 품질을 측정하고 프로덕션 상태를 모니터링합니다. Langfuse Cloud는 서로 분리된 미국, EU, 일본 및 HIPAA 리전을 제공하며, 인프라를 직접 제어해야 하는 팀은 오픈 소스 플랫폼을 자체 호스팅할 수 있습니다. 선택에 따른 차이는 주로 운영에 있습니다. Cloud는 유지 관리 부담을 줄이는 대신 구독 요금이 적용되며, 자체 호스팅을 선택하면 배포, 업그레이드, 스토리지 및 안정성 관리 업무를 팀이 담당하게 됩니다.
기능
LLM 애플리케이션 추적
LLM 호출, 검색, 임베딩, API 호출, 세션, 사용자 및 에이전트 그래프를 수집하여 동작, 비용 및 지연 시간을 조사합니다.
프롬프트 관리
공유 워크플로에서 프롬프트의 버전을 관리하고 테스트하며 공동 작업과 배포를 수행합니다.
출력 품질 평가
평가를 실행하고 프로덕션 상태를 모니터링하며, 더 넓게 출시하기 전에 애플리케이션 변경 사항을 테스트합니다.
장점
- 오픈 소스이며 자체 호스팅할 수 있어 인프라 제어가 필요한 팀에 적합합니다.
- 폭넓은 계측 지원으로 호환성 문제와 특정 공급업체 종속을 줄일 수 있습니다.
- 추적, 프롬프트 및 평가 기능의 통합으로 디버깅 워크플로가 단축됩니다.
단점
- 자체 호스팅에는 지속적인 배포, 업그레이드, 스토리지 및 안정성 관리가 필요합니다.
- Cloud 리전 간 이동에는 새 계정과 데이터 마이그레이션이 필요합니다.
- 호스팅 배포에는 반복적인 구독 비용이 발생합니다.
요금제
Langfuse Cloud
- 관리형 클라우드 배포
- 추적, 프롬프트 관리 및 평가
- 서로 분리된 지원 데이터 리전 선택
* 가격 정보는 참고용입니다. 최신 안내는 Langfuse 공식 웹사이트를 확인하세요.