PostHog vs Mixpanel:オンボーディング実験で数えるべきは露出ユーザーか、フラグリクエストか?

現在は両方ともネイティブのフラグと実験に対応。オンボーディングでは露出のタイミングと識別情報を先に確認し、PostHogのリクエスト枠とMixpanelの月間実験ユーザーを区別する必要がある。既存のMixpanelデータがあるチームは、古い印象だけで移行する必要はない。

ソース: posthog.com
2026年11月2日
8 min

オンボーディングを長い一枚のフォームから段階的な入力に変えるとき、チームが答えるべき問いは「新しいフローは初回完了率を改善するか」であり、どちらの分析プラットフォームの機能一覧が長いかではない。PostHogとMixpanelは現在、どちらもネイティブの機能フラグと実験を提供している。Mixpanelを既に使うチームが、過去の製品イメージだけで移行を始めるべきではない。既存イベントを再利用し、実際にオンボーディングを見たユーザーを正しく識別し、実験終了まで費用を許容範囲に収められるのはどちらか。この比較の方が役に立つ。実際の実験運用や性能テストは含まない。

「割り当てられた」と「オンボーディングを見た」を分ける

ログイン後にホーム画面へ移動し、「最初のプロジェクトを作成」をクリックしたときだけオンボーディングに入るユーザーを想定しよう。アプリはホーム画面で既にフラグを要求し、割り当て結果を取得するかもしれない。しかし、それは新しいフォームを見たことを意味しない。割り当てを受けた全員を実験に含めると、実際には別の問いに答えてしまう可能性がある。開始前に、参加条件、露出を記録する画面や操作、完了イベントを数え始める時点を明記する。この例は実験設計上の助言であり、いずれかのプラットフォームが既に得た結果ではない。

PostHogの露出に関する文書では、通常のSDK経路ではgetFeatureFlagの呼び出し時、またはサーバー側のevaluateFlags結果からフラグを読み取る際に、$feature_flag_calledが記録されると説明されている。実験は露出イベントで参加者を識別し、露出前の指標イベントを分析に含めない。したがって、呼び出す場所自体が実験定義の一部となる。アプリで先に値を取得する必要がある一方、実際にオンボーディングへ入ってから参加とみなしたい場合は、対応するバリアントのプロパティを正しく付けたカスタム露出イベントを検討できる。フラグAPIへのリクエスト成功だけで、参加者の集計が正確だと考えてはいけない。

Mixpanelの文書もassignmentとexposureを区別する。前者は割り当てるバージョンを決め、後者はアプリがそのバージョンを実際に使って画面を描画することを指す。ネイティブフラグを提供し、$experiment_startedで露出を追跡できる。既存のCDPイベントパイプラインを持つチームは、割り当てと露出の送信を別々に実装することも可能だ。この選択肢は既存の収集経路を生かすのに役立つが、一方で自動送信し、もう一方でも重複記録することがないよう、イベント送信の担当を明確にする必要がある。「実験対応」を「導入完了」と見なすのではなく、実際のSDKと計測実装を確認して比較しよう。

次に識別情報を確認する。Mixpanelではユーザーのdistinct_id、デバイスのdevice_id、グループキーによるバリアント割り当てが可能だが、フラグ有効化後にこの割り当てキーは変更できない。オンボーディングが匿名訪問と登録・ログインをまたぐなら、同じ人、同じデバイス、企業アカウント全体のどれを研究対象とするかを先に決める。PostHogも、複数デバイス、ストレージの消去、ユーザー識別の前後での評価によって、同じユーザーが複数バージョンに接する可能性を指摘している。このケースでは、テストアカウントで匿名利用、ログイン、再読み込み、デバイス切り替えをたどり、露出と完了イベントが正しく対応し続けるかを確認することを勧める。レポートの見栄えを先に議論するより重要だ。

100万リクエストは100万人の実験ユーザーではない

PostHogの現在の料金ページには、月100万件のプロダクト分析イベントと100万回の機能フラグリクエストの無料枠があり、実験はフラグを通じて課金されると記載されている。ここには少なくともイベント数とフラグリクエスト数という二つの勘定がある。100万人の実験ユーザーが無料という意味ではなく、アプリ内のフラグ読み取り一回ごとを、そのまま課金対象のネットワークリクエスト一回と捉えることもできない。利用SDK、キャッシュ、実際の呼び出し方法から予算を見積もり、そのうえで超過料金を確認する。何度も訪れる少人数と、一度だけ訪れる大人数では、使用量の構成が異なる可能性がある。

Mixpanel Freeには現在、月100万件のイベント、1,000人の月間実験ユーザー(MEU)、最大10個のアクティブフラグが含まれる。Growthには5,000 MEUと最大50個のアクティブフラグが含まれる。ページにある「100,000 MEUまで拡張可能」は、標準で100,000が含まれるという意味ではない。MEUは暦月内に露出したユニークユーザーで計算される。また公式ルールでは、一人が最大30の実験に参加しても1 MEUと数え、それを超える場合には別の計算ルールがある。オンボーディング実験の評価では、サイト全体のイベント数を代わりに使うのではなく、実際に参加する人数をまず見積もるべきだ。

枠の影響は請求額だけではない。Mixpanelの実験文書によれば、FreeがMEU上限に達すると、翌月のリセットまたはアップグレードまで実験機能が一時停止する一方、フラグは引き続きトラフィックに対応する。Growthの超過は課金に関係する。月2,000人がオンボーディングに入る見込みなら、分析イベントが100万件を大幅に下回っていても、Freeで実験全体を完了できるとは限らない。この人数は予算の例にすぎず、特定の改善を検出できる十分な人数を意味しない。必要サンプル数は、ベースライン、検出したい変化、実験設計によって決まる。

信頼できるイベントがあるなら追加作業を先に確認する

Mixpanelで信頼できる初回完了イベント、ファネル、ユーザー識別情報を既に管理しているなら、一つのオンボーディング実験のためにデータ環境全体を作り直すより、現在のネイティブ実験が要件を満たすかを先に確認する方が合理的な場合が多い。実験レポートでは既存指標を選択でき、外部フラグが生成した露出イベントも分析できる。移行が必要なら、二つの無料プランの数字だけを比較せず、過去の指標定義、識別情報の接続、並行したデータ照合の作業を洗い出そう。

PostHogで既にフラグとプロダクト分析を使っているチームは、同じイベントと実験の経路を再利用できる。実験文書では各バージョンがセッションリプレイにも関連付けられており、指標が変化した後にユーザー体験を確認しやすい。ゼロから始めるチームにとって、この一貫した経路は試行する価値がある。ただし、露出の定義やデータ品質の作業が自動で不要になるわけではない。機能をそろえるためだけに、今の実験に不要なデータ収集まで有効にしてはいけない。

最後に、参加資格、露出のタイミング、完了イベントと識別情報の対応、想定使用量で観測期間をカバーできるか、変更の公開と撤回の担当者という同じ受け入れ基準で比較する。Mixpanelを使っているチームは追加導入の検証を、PostHogを使っているチームは既存経路の再利用を優先する。明確な機能または費用の不足があって初めて、移行を進める価値がある。オンボーディング実験の信頼性を決めるのは参加者と指標の対応であり、フラグリクエスト数を新フローを見た人数と扱うことではない。

内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。

元の出典:posthog.com