PostHog vs. Mixpanel: Exponierte Nutzer oder Flag-Anfragen im Onboarding-Experiment zählen?
Beide unterstützen inzwischen native Flags und Experimente. Beim Onboarding sind zunächst Expositionszeitpunkt und Identität zu prüfen; danach muss man PostHogs Anfragekontingente von Mixpanels monatlichen Experimentnutzern unterscheiden. Teams mit vorhandenen Mixpanel-Daten müssen nicht aufgrund veralteter Vorstellungen migrieren.
Wenn ein langes Onboarding-Formular durch eine schrittweise Eingabe ersetzt werden soll, muss das Team beantworten, ob der neue Ablauf die erstmalige Abschlussquote erhöht, nicht welche Analyseplattform die längere Funktionsliste hat. PostHog und Mixpanel bieten inzwischen beide native Feature-Flags und Experimente. Teams, die Mixpanel bereits einsetzen, sollten keine Migration aufgrund früherer Produktvorstellungen beginnen. Aussagekräftiger ist der Vergleich, welche Plattform vorhandene Ereignisse weiterverwenden, die Nutzer identifizieren kann, die das Onboarding tatsächlich sehen, und bis zum Experimentende bezahlbar bleibt. Er umfasst weder tatsächlich durchgeführte Experimente noch Leistungstests.
Zuweisung und tatsächliches Sehen des Onboardings trennen
Angenommen, Nutzer gelangen nach dem Login zunächst auf die Startseite und erst nach einem Klick auf „Erstes Projekt erstellen“ ins Onboarding. Die Anwendung kann bereits auf der Startseite ein Flag anfordern und eine Zuweisung erhalten. Das bedeutet jedoch nicht, dass der Nutzer das neue Formular gesehen hat. Werden alle zugewiesenen Personen in das Onboarding-Experiment aufgenommen, beantwortet das Team womöglich eine andere Frage. Vor dem Start sind Teilnahmebedingungen, die Seite oder Aktion zur Erfassung der Exposition sowie der Zeitpunkt festzulegen, ab dem Abschlussereignisse zählen. Dieses Beispiel ist eine Empfehlung zur Versuchsplanung, kein bereits auf einer Plattform erzieltes Ergebnis.
Laut PostHogs Expositionsdokumentation erfasst der übliche SDK-Pfad $feature_flag_called beim Aufruf von getFeatureFlag oder beim Lesen eines Flags aus serverseitigen evaluateFlags-Ergebnissen. Experimente identifizieren Teilnehmer anhand von Expositionsereignissen; Metrikereignisse vor der Exposition gehen nicht in die Analyse ein. Der Ort des Aufrufs ist deshalb Teil der Experimentdefinition. Muss die Anwendung einen Wert vorab abrufen, während erst der tatsächliche Einstieg ins Onboarding als Teilnahme gelten soll, lässt sich ein benutzerdefiniertes Expositionsereignis mit den korrekten Varianteneigenschaften prüfen. Ein erfolgreicher Aufruf der Flag-API allein belegt noch keine korrekte Teilnehmerzählung.
Auch Mixpanels Dokumentation unterscheidet assignment und exposure: Ersteres bestimmt die zugewiesene Version, Letzteres bezeichnet deren tatsächliche Verwendung zum Rendern durch die Anwendung. Mixpanel bietet native Flags und kann Exposition über $experiment_started erfassen. Teams mit einer bestehenden CDP-Ereignispipeline können Zuweisung und Expositionsmeldung auch getrennt implementieren. Das hilft, vorhandene Erfassungspfade weiterzuverwenden. Es muss jedoch klar sein, wer die Ereignisse sendet, damit nicht ein Pfad automatisch meldet und ein anderer dasselbe nochmals protokolliert. Zu vergleichen sind das konkrete SDK und die Instrumentierung; „unterstützt Experimente“ bedeutet nicht „Integration abgeschlossen“.
Anschließend ist die Identität zu prüfen. Mixpanel erlaubt Varianten anhand der Nutzer-distinct_id, der Geräte-device_id oder eines Gruppenschlüssels zuzuweisen. Nach Aktivierung des Flags lässt sich dieser Zuweisungsschlüssel nicht mehr ändern. Umfasst das Onboarding anonyme Besuche und Registrierung beziehungsweise Login, muss das Team zuerst entscheiden, ob dieselbe Person, dasselbe Gerät oder das gesamte Unternehmenskonto untersucht wird. PostHog weist ebenfalls darauf hin, dass mehrere Geräte, gelöschter Speicher oder Auswertungen vor und nach der Nutzeridentifizierung dazu führen können, dass derselbe Nutzer mehrere Versionen sieht. Für dieses Szenario empfiehlt sich, mit Testkonten anonyme Nutzung, Login, Neuladen und Gerätewechsel durchzuspielen und zu prüfen, ob Expositions- und Abschlussereignisse weiterhin richtig zusammenpassen. Das ist wichtiger als die Frage, wessen Berichte schöner aussehen.
Eine Million Anfragen sind nicht eine Million Experimentnutzer
PostHogs aktuelle Preisseite nennt monatlich eine Million kostenlose Produktanalyseereignisse und eine Million kostenlose Feature-Flag-Anfragen; Experimente werden über Flags abgerechnet. Hier gibt es mindestens zwei Verbrauchsrechnungen: Ereignisse und Flag-Anfragen. Das bedeutet weder eine Million kostenlose Experimentnutzer noch, dass jedes Lesen eines Flags innerhalb der Anwendung unmittelbar eine kostenpflichtige Netzwerkanfrage ist. Das Budget sollte anhand des verwendeten SDKs, des Cachings und des tatsächlichen Aufrufmusters geschätzt werden; anschließend sind die Preise für Mehrverbrauch zu prüfen. Wenige Nutzer mit vielen Wiederholungsbesuchen und viele einmalige Besucher können unterschiedliche Verbrauchsstrukturen erzeugen.
Mixpanel Free enthält derzeit monatlich eine Million Ereignisse, 1.000 monatliche Experimentnutzer (MEU) und bis zu zehn aktive Flags. Growth enthält 5.000 MEU und bis zu 50 aktive Flags. Die Angabe „skalierbar auf 100.000 MEU“ auf der Seite bedeutet nicht, dass standardmäßig 100.000 enthalten sind. MEU zählt unterschiedliche Nutzer, die innerhalb eines Kalendermonats exponiert werden. Laut offiziellen Regeln zählt ein Nutzer bei Teilnahme an bis zu 30 Experimenten nur als ein MEU; darüber hinaus gelten gesonderte Berechnungsregeln. Für ein Onboarding-Experiment sollte zuerst die tatsächliche Teilnehmerzahl geschätzt werden, statt das Ereignisvolumen der gesamten Website einzusetzen.
Die Kontingente beeinflussen nicht nur die Rechnung. Mixpanels Experimentdokumentation erklärt, dass die Experimentfunktion in Free nach Erreichen der MEU-Grenze bis zum Zurücksetzen im Folgemonat oder einem Upgrade pausiert. Flags bedienen den Datenverkehr weiterhin. Mehrverbrauch bei Growth betrifft dagegen die Abrechnung. Wenn voraussichtlich 2.000 Nutzer pro Monat ins Onboarding eintreten, darf man auch bei deutlich weniger als einer Million Analyseereignissen nicht davon ausgehen, dass Free für den gesamten Versuch ausreicht. Diese Nutzerzahl ist lediglich ein Budgetbeispiel, kein Nachweis einer ausreichenden Stichprobe zur Erkennung einer bestimmten Verbesserung. Der Stichprobenbedarf hängt weiterhin vom Ausgangsniveau, der gesuchten Veränderung und dem Versuchsdesign ab.
Bei zuverlässigen vorhandenen Ereignissen zuerst den Zusatzaufwand prüfen
Pflegt ein Team in Mixpanel bereits verlässliche Ereignisse für den erstmaligen Abschluss, Funnels und Nutzeridentitäten, ist es häufig vernünftiger, zunächst die Eignung der aktuellen nativen Experimente zu prüfen, als für einen einzigen Onboarding-Versuch die gesamte Datenbasis neu aufzubauen. In Experimentberichten lassen sich bestehende Metriken auswählen und Expositionsereignisse externer Flags analysieren. Ist eine Migration nötig, sollten die Arbeiten an historischen Metrikdefinitionen, der Identitätsverknüpfung und der parallelen Datenprüfung aufgelistet werden, statt nur die Zahlen zweier Gratispläne zu vergleichen.
Nutzt das Team bereits Flags und Produktanalyse in PostHog, kann es denselben Ereignis- und Experimentpfad weiterverwenden. Die Experimentdokumentation verknüpft Varianten außerdem mit Session-Replays, sodass sich nach Metrikänderungen die Nutzererfahrungen leichter prüfen lassen. Für Teams, die neu anfangen, ist dieser zusammenhängende Ablauf einen Pilotversuch wert. Er beseitigt aber nicht automatisch die Arbeit an Expositionsdefinitionen und Datenqualität. Aktivieren Sie keine Datenerfassung, die der aktuelle Versuch nicht benötigt, nur um alle Plattformfunktionen einzusetzen.
Vergleichen Sie beide schließlich anhand derselben Abnahmekriterien: Wer darf teilnehmen, wann erfolgt die Exposition, wie passen Abschlussereignisse zur Identität, deckt der erwartete Verbrauch den Beobachtungszeitraum ab, und wer veröffentlicht Änderungen und nimmt sie zurück? Bestehende Mixpanel-Teams sollten die zusätzliche Integration prüfen, bestehende PostHog-Teams den vorhandenen Ablauf weiterverwenden. Nur eine klar erkennbare Funktions- oder Kostenlücke rechtfertigt eine Migration. Entscheidend für ein vertrauenswürdiges Onboarding-Experiment ist, dass Teilnehmer und Metriken zusammenpassen, nicht dass Flag-Anfragen als Anzahl der Personen gelten, die den neuen Ablauf gesehen haben.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:posthog.com