Langfuse vs LangSmith: 월말에 오류 기록을 볼 수 있어도 만료된 데이터가 삭제됐다는 뜻은 아니다
월간 검토용 추적 플랫폼을 고를 때는 조회 기간, 실제 삭제, 평가 샘플 사본, 과금 단위를 나눠 비교해야 한다. Langfuse의 과거 기록 접근과 LangSmith의 계층별 보존은 관리 방식이 다르며, 언제나 더 저렴한 승자는 없다.
앱 출시 후 가끔 잘못된 답변이 나와 팀이 월말 검토 때 당시 입력, 모델 출력, 도구 호출을 다시 확인하려 한다. 이때 Langfuse와 LangSmith를 선택하며 가장 오해하기 쉬운 것은 어느 쪽에 추적 대시보드가 있는지가 아니다. 한 달 뒤 무엇을 볼 수 있는지, 그리고 ‘볼 수 없음’이 데이터가 이미 삭제됐다는 뜻인지다. 일상적으로 더 긴 조회 기간이 필요하고 여러 사람이 함께 분석하려면 Langfuse Cloud부터 평가할 수 있다. 많은 단기 디버깅 기록과 소수의 장기 보존 샘플을 나눠 관리하려면 LangSmith의 보존 계층을 검증할 가치가 있다. 양쪽 모두 민감 필드 처리와 삭제 범위를 별도로 설계해야 한다. 근거로 하며, 연동 성능을 직접 테스트한 결과는 포함하지 않는다.
Langfuse는 현재 data access와 data retention을 명확히 구분한다. Hobby는 30일, Core는 90일, Pro와 Enterprise는 3년간의 기록을 조회할 수 있다. 접근 기간은 볼 수 있는 과거 기록을 제한할 뿐, 더 오래된 데이터를 자동으로 삭제하지 않는다. 매달 검토하는 팀에는 Core의 90일 기간이 단기 디버깅에만 충분한 기간보다 여유롭다. 그러나 이를 근거로 고객에게 ‘90일 뒤 데이터가 사라진다’고 약속할 수는 없다. 자동 삭제가 필요하면 Data Retention 기능과 적용 요금제를 별도로 확인해야 한다.
반면 LangSmith 가격 페이지는 base traces의 보존 기간을 14일, extended traces를 180일로 명시한다. 관리 문서에 따르면 만료 후에는 UI나 API로 추적 기록에 접근할 수 없으며, 관련 사용자 입력과 출력은 이후 하루 안에 내부 시스템에서 삭제된다. 다만 일부 분석 및 과금 메타데이터는 계속 보존될 수 있다. 월말에 몰아서 문제를 조사하는 팀에는 14일이면 이미 증거를 놓쳤을 수 있다. 월말에 누락을 발견하고 추가 구매할 것이 아니라 수집할 때 어떤 기록을 연장할지 정해야 한다. 현재 규칙의 변경은 새 기록에만 적용되므로, 기존 기록을 모두 새 설정에 따라 판단해서는 안 된다.
같은 월말 검토라도 설정할 항목은 다르다
팀이 매주 한 번 프롬프트를 업데이트하고 월말에 성과가 나빴던 질의응답을 다시 살핀다고 가정하자. Langfuse에서는 먼저 검토 주기를 포괄하는 접근 기간을 선택한 뒤 프로젝트 단위의 삭제 일수를 정할 수 있다. LangSmith에서는 일반 디버깅 기록과 장기간 비교할 기록을 계층별로 나눠야 한다. 전자는 ‘화면에서는 만료됐지만 데이터는 남아 있는’ 상황을, 후자는 ‘검토를 시작할 때 원본 기록이 이미 만료된’ 상황을 방지해야 한다. 이는 업무 일정과 보존 규칙을 맞추는 문제이지, 어느 플랫폼이 본래부터 개인정보 보호 요구에 더 잘 맞는다는 뜻이 아니다.
LangSmith에는 비용과 보존 기간을 동시에 바꾸는 세부 사항도 있다. 보존 연장이 활성화된 온라인 평가기나 자동화 규칙은 조건에 맞는 base trace를 extended로 바꿀 수 있다. 현재 문서는 새 평가기와 규칙에서 연장이 기본으로 켜지며, 설정할 때 해제할 수 있다고 설명한다. 모든 채점, 피드백, 대기열 추가가 자동으로 비용을 올린다고 뭉뚱그려 말해서는 안 된다. 품질 검사 하나를 설정하기 전에도 보존 기간을 연장하는지 함께 확인하고, 소량의 샘플로 청구 집계를 살펴야 한다.
Langfuse의 Data Retention은 현재 Cloud Pro, Enterprise, 셀프 호스팅 Enterprise Edition에 제공된다. 프로젝트별로 설정하므로 한 조직의 모든 프로젝트가 같은 정책을 물려받았다고 가정해서는 안 된다. 공식 안내에 따르면 프로젝트 보존 정책은 감사 로그나 데이터 세트 항목을 삭제하지 않는다. 데이터 세트에 저장된 입력, 예상 출력, 메타데이터는 계속 남는다. LangSmith 데이터 세트에도 trace와 독립적인 장기 보존 동작이 있다. 따라서 운영 기록을 평가 샘플로 복사한 뒤 원래 trace를 삭제해도 모든 사본이 사라지는 것은 아니다. 팀은 데이터 세트의 접근과 정리 책임을 별도로 정해야 한다.
사용량 단위가 다르므로 10만 건을 모두 대화 10만 회로 보지 말아야 한다
Langfuse Core는 현재 월 29미국 달러이며 100,000 billable units가 포함된다. 초과 후 첫 사용량 구간은 100,000 units당 8미국 달러이고 사용자 수는 무제한이다. unit에는 trace, 흐름 내부의 observations, scores 등의 데이터 포인트가 포함된다. 같은 요청도 더 자세히 기록하거나 점수를 추가하면 단위 수가 늘어날 수 있다. LangSmith Plus는 좌석당 월 39미국 달러이며 월 10,000 base traces를 포함하고 이후에는 사용량에 따라 과금한다. trace 하나에 앱 실행 한 번의 여러 단계가 포함될 수 있다. 좌석이 필요한 구성원이 세 명이면 기본 좌석 비용만 월 117미국 달러이며, 사용량이나 기타 서비스 비용은 아직 더하지 않은 금액이다.
이 숫자만으로 어느 쪽이 더 저렴한지 결론 내릴 수는 없다. 먼저 동일한 요청 묶음으로 양쪽에서 실제 생성된 데이터 포인트, trace, 보존 연장 기록, 분석 참여 인원을 각각 집계한 뒤 전체 견적을 받아야 한다. 자동 평가에 모델을 사용한다면 해당 추론 비용도 확인해야 한다. ‘100,000 units’와 ‘10,000 traces’만 비교하면 서로 다른 단위를 같은 용량으로 취급하게 되며, 보존 정책 변경에 따른 비용도 놓치게 된다.
조직이 자체 배포를 요구한다면 Langfuse는 공식 셀프 호스팅 경로를 제공하지만 일부 추가 기능에는 여전히 라이선스가 필요하다. 배포 구조에는 앱, 백그라운드 처리, 여러 저장 구성 요소가 포함되므로 클라우드 구독 가격만 보고 유지보수와 백업 책임을 빼놓을 수는 없다. LangSmith 가격 페이지는 셀프 호스팅과 하이브리드 배포를 Enterprise 맞춤형 요금제에 포함한다. 이때는 동일한 보존 요건, 관리 역량, 운영 서비스를 비교해야 하며, 한쪽의 오픈 소스 배포 경로를 다른 쪽의 전체 기업 계약 가격과 비교해서는 안 된다.
최종 결정은 기능 목록만 보는 대신 한 차례 만료 점검으로 내릴 수 있다. 실제 고객 정보가 없는 추적 샘플을 만들고, 그중 하나를 데이터 세트 항목으로 복사한 뒤 필요한 보존 정책을 설정한다. 그런 다음 UI, API, 데이터 세트, 감사 기록의 동작을 각각 확인한다. 여러 사람이 긴 조회 기간을 공유해야 한다면 Langfuse의 단위 과금과 접근 기간을 먼저 계산할 가치가 있다. 많은 단기 디버깅 기록과 소수의 연장 기록을 선호한다면 LangSmith의 계층별 보존을 먼저 검증할 만하다. 구매 조건에 실제로 적어야 할 것은 검토 주기, 삭제 범위, 책임자이지 ‘로그 보존 지원’이라는 한마디가 아니다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:langfuse.com