PostHog vs Mixpanel: 온보딩 실험에서는 노출 사용자와 플래그 요청 중 무엇을 세야 할까?
두 제품 모두 현재 네이티브 플래그와 실험을 지원한다. 온보딩 도구를 고를 때는 노출 시점과 식별 정보를 먼저 확인한 뒤 PostHog 요청 한도와 Mixpanel 월간 실험 사용자를 구분해야 한다. 기존 Mixpanel 데이터가 있는 팀은 과거의 인상 때문에 이전할 필요가 없다.
온보딩을 긴 단일 양식에서 단계별 입력으로 바꾸려는 팀이 답해야 할 질문은 “새 흐름이 최초 완료율을 높이는가”이지, 어느 분석 플랫폼의 기능 목록이 더 긴가가 아니다. PostHog와 Mixpanel은 현재 모두 네이티브 기능 플래그와 실험을 제공한다. 이미 Mixpanel을 사용하는 팀이 과거의 제품 이미지 때문에 이전에 착수해서는 안 된다. 기존 이벤트를 재사용하고, 실제로 온보딩을 본 사용자를 정확히 식별하며, 실험이 끝날 때까지 감당할 수 있는 비용을 유지할 수 있는지 비교하는 편이 더 유용하다. 실제 실험 실행이나 성능 테스트는 포함하지 않는다.
‘그룹 배정’과 ‘온보딩을 봄’을 먼저 구분하자
사용자가 로그인 후 홈으로 이동하고 ‘첫 프로젝트 만들기’를 눌러야만 온보딩에 진입한다고 가정하자. 앱은 홈에서 이미 플래그를 요청하고 그룹 배정 결과를 얻을 수 있지만, 이것이 사용자가 새 양식을 보았다는 뜻은 아니다. 배정받은 모든 사람을 온보딩 실험에 포함하면 팀은 사실 다른 질문에 답하게 될 수도 있다. 시작 전에 참여 조건, 노출을 기록할 페이지나 동작, 완료 이벤트를 집계하기 시작하는 시점을 명시해야 한다. 이 사례는 실험 설계에 관한 제안이며 어느 플랫폼에서 이미 나온 결과가 아니다.
PostHog의 노출 문서에 따르면 일반적인 SDK 경로에서는 getFeatureFlag를 호출하거나 서버 측 evaluateFlags 결과에서 플래그를 읽을 때 $feature_flag_called를 기록한다. 실험은 노출 이벤트로 참여자를 식별하며 노출 이전의 지표 이벤트는 분석에 포함하지 않는다. 따라서 호출 위치 자체가 실험 정의의 일부다. 앱이 값을 미리 가져와야 하지만 실제 온보딩 진입 시점부터 참여로 인정하려면, 해당 변형 속성을 올바르게 포함한 사용자 지정 노출 이벤트를 검토할 수 있다. 플래그 API 요청이 성공했다는 이유만으로 참여자 집계가 정확하다고 판단해서는 안 된다.
Mixpanel 문서도 assignment와 exposure를 구분한다. 전자는 어떤 버전에 배정할지 결정하고, 후자는 앱이 해당 버전을 실제 렌더링에 사용하는 것을 뜻한다. 네이티브 플래그를 제공하며 $experiment_started로 노출을 추적할 수 있다. 기존 CDP 이벤트 파이프라인이 있는 팀은 배정과 노출 보고를 별도로 구현할 수도 있다. 이 선택은 기존 수집 경로를 유지하는 데 도움이 되지만, 한 경로에서 자동 보고하고 다른 경로에서 중복 기록하지 않도록 이벤트 전송 책임을 명확히 해야 한다. 비교할 때는 ‘실험 지원’을 연동 완료로 간주하지 말고 실제 SDK와 추적 구현을 점검해야 한다.
다음은 식별 정보다. Mixpanel에서는 사용자 distinct_id, 기기 device_id 또는 그룹 키로 변형을 배정할 수 있으며, 플래그 활성화 후에는 이 배정 키를 바꿀 수 없다. 온보딩이 익명 방문과 가입·로그인을 가로지른다면, 연구 대상이 같은 사람인지, 같은 기기인지, 기업 계정 전체인지 먼저 결정해야 한다. PostHog도 여러 기기 사용, 저장소 삭제, 사용자 식별 전후의 평가로 동일 사용자가 여러 버전에 노출될 수 있다고 안내한다. 이 시나리오에서는 테스트 계정으로 익명 이용, 로그인, 새로고침, 기기 변경 경로를 모두 거치며 노출과 완료 이벤트가 여전히 올바르게 대응하는지 확인하는 것이 좋다. 어느 쪽 보고서가 더 보기 좋은지 먼저 논하는 것보다 중요하다.
요청 100만 건은 실험 사용자 100만 명이 아니다
PostHog의 현재 가격 페이지는 월 제품 분석 이벤트 100만 건과 기능 플래그 요청 100만 건의 무료 한도를 명시하며, 실험은 플래그를 통해 과금된다. 여기에는 최소한 이벤트 수와 플래그 요청 수라는 두 가지 계산 항목이 있다. 이를 실험 사용자 100만 명이 무료라는 뜻으로 이해해서는 안 되며, 앱 내부의 플래그 읽기마다 곧바로 유료 네트워크 요청 한 건이라고 봐서도 안 된다. 사용하는 SDK, 캐시, 실제 호출 방식에 따라 예산을 추산한 뒤 초과 요금을 살펴봐야 한다. 자주 재방문하는 소수 사용자와 한 번만 방문하는 다수 사용자는 서로 다른 사용량 구조를 만들 수 있다.
Mixpanel Free에는 현재 월 이벤트 100만 건, 월간 실험 사용자(MEU) 1,000명, 활성 플래그 최대 10개가 포함된다. Growth에는 5,000 MEU와 활성 플래그 최대 50개가 포함된다. 페이지의 100,000 MEU까지 확장 가능하다는 문구는 기본 제공량이 100,000이라는 뜻이 아니다. MEU는 역월 내 노출된 고유 사용자를 기준으로 계산한다. 공식 규칙에 따르면 같은 사용자가 최대 30개 실험에 참여해도 1 MEU로 계산하며, 이를 넘으면 별도 계산 규칙이 적용된다. 온보딩 실험을 평가할 때는 사이트 전체 이벤트 수를 대입하지 말고 실제 참여 인원을 먼저 추산해야 한다.
한도는 청구서에만 영향을 주는 것이 아니다. Mixpanel 실험 문서에 따르면 Free가 MEU 상한에 도달하면 다음 달 초기화 또는 업그레이드까지 실험 기능이 일시 중지되지만 플래그는 계속 트래픽을 처리한다. Growth의 초과분에는 과금이 관련된다. 한 달에 사용자 2,000명이 온보딩에 진입할 것으로 예상한다면 분석 이벤트가 100만 건보다 훨씬 적어도 Free로 실험 전체를 마칠 수 있다고 가정해서는 안 된다. 이 인원은 예산 예시일 뿐 특정 개선을 탐지하기에 충분하다는 뜻이 아니다. 필요한 표본은 여전히 기준값, 탐지하려는 변화, 실험 설계에 달려 있다.
신뢰할 만한 이벤트가 이미 있다면 추가 작업부터 확인하자
팀이 이미 Mixpanel에서 신뢰할 수 있는 최초 완료 이벤트, 퍼널, 사용자 식별 정보를 관리한다면, 온보딩 실험 하나를 위해 전체 데이터 체계를 재구축하기보다 현재 네이티브 실험이 요구 사항을 충족하는지 먼저 확인하는 것이 더 합리적인 경우가 많다. 실험 보고서에서 기존 지표를 선택할 수 있고 외부 플래그가 생성한 노출 이벤트도 분석할 수 있다. 이전이 필요하다면 두 무료 요금제의 숫자만 비교하지 말고 과거 지표 정의, 식별 정보 연결, 병행 데이터 검증에 필요한 작업을 나열해야 한다.
이미 PostHog에서 플래그와 제품 분석을 사용한다면 같은 이벤트 및 실험 경로를 재사용할 수 있다. 실험 문서는 각 버전을 세션 리플레이와도 연결해 지표 변화 후 사용자 경험을 확인하기 쉽게 한다. 처음부터 시작하는 팀에는 이 일관된 경로를 시험해 볼 가치가 있지만, 노출 정의와 데이터 품질 작업까지 자동으로 없어지는 것은 아니다. 플랫폼의 기능을 모두 갖추려는 이유로 현재 실험에 필요하지 않은 데이터 수집까지 켜서는 안 된다.
마지막으로 동일한 검수 기준으로 두 제품을 비교하자. 누가 참여할 수 있는지, 언제 노출되는지, 완료 이벤트가 식별 정보와 어떻게 연결되는지, 예상 사용량이 관찰 기간을 감당하는지, 누가 변경을 배포하고 되돌리는지 확인한다. 기존 Mixpanel 팀은 추가 연동 검증을, 기존 PostHog 팀은 현재 경로 재사용을 우선해야 한다. 명확한 기능 또는 비용상의 부족이 있을 때만 이전을 추진할 가치가 있다. 온보딩 실험의 신뢰성을 결정하는 것은 참여자와 지표가 맞아떨어지는지 여부이지, 플래그 요청 수를 새 흐름을 본 사람 수로 취급하는 것이 아니다.
콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.
원문 출처:posthog.com