Wenn Sie Ihre Nutzer erreichen oder eine neue Marketingkampagne starten, möchten Sie sicherstellen, dass Sie es richtig machen. A/B-Tests können Ihnen dabei helfen, die optimale Formulierung und Präsentation zu finden, indem Sie Nachrichtenvarianten an ausgewählten Teilen Ihrer Benutzerbasis testen. Unabhängig davon, ob Ihr Ziel eine bessere Bindung oder Konversion eines Angebots ist, können A/B-Tests eine statistische Analyse durchführen, um festzustellen, ob eine Nachrichtenvariante die Basislinie für Ihr ausgewähltes Ziel übertrifft.
Gehen Sie wie folgt vor, um Funktionsvarianten mit einer Baseline A/B-Tests durchzuführen:
- Erstellen Sie Ihr Experiment.
- Validieren Sie Ihr Experiment auf einem Testgerät.
- Verwalten Sie Ihr Experiment.
Erstellen Sie ein Experiment
Mit einem Experiment, das Firebase In-App Messaging verwendet, können Sie mehrere Varianten einer einzelnen In-App-Nachricht bewerten.
Melden Sie sich bei der Firebase-Konsole an und stellen Sie sicher, dass Google Analytics in Ihrem Projekt aktiviert ist, damit das Experiment Zugriff auf Analytics-Daten hat.
Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie es auf der Registerkarte „Integrationen“ aktivieren, auf die Sie über > Projekteinstellungen in der Firebase-Konsole zugreifen können.
Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
Klicken Sie auf Experiment erstellen und wählen Sie dann In-App-Messaging aus, wenn Sie nach dem Dienst gefragt werden, mit dem Sie experimentieren möchten.
Alternativ können Sie im Navigationsmenü der Firebase-Konsole „Engage“ erweitern und dann auf „In-App-Messaging“ klicken. Klicken Sie dann auf Neues Experiment .
Geben Sie einen Namen und optional eine Beschreibung für Ihr Experiment ein und klicken Sie auf Weiter .
Füllen Sie die Targeting- Felder aus und wählen Sie zunächst die App aus, die Ihr Experiment verwendet. Sie können auch eine Teilmenge Ihrer Benutzer gezielt zur Teilnahme an Ihrem Experiment ansprechen, indem Sie Optionen wie die folgenden auswählen:
- Version: Eine oder mehrere Versionen Ihrer App
- Benutzerzielgruppe: Analytics-Zielgruppen, die zur gezielten Ausrichtung auf Benutzer verwendet werden, die möglicherweise in das Experiment einbezogen werden
- Benutzereigenschaft: Eine oder mehrere Analytics-Benutzereigenschaften zur Auswahl von Benutzern, die in das Experiment einbezogen werden könnten
- Land/Region: Ein oder mehrere Länder oder Regionen zur Auswahl von Benutzern, die in das Experiment einbezogen werden könnten
- Gerätesprache: Eine oder mehrere Sprachen und Gebietsschemas, die zur Auswahl von Benutzern verwendet werden, die in das Experiment einbezogen werden könnten
- Erstes Öffnen: Sprechen Sie Nutzer basierend auf dem Zeitpunkt an, zu dem sie Ihre App zum ersten Mal geöffnet haben
- Letzte App-Interaktion: Sprechen Sie Benutzer basierend auf dem letzten Mal an, als sie mit Ihrer App interagiert haben
Legen Sie den Prozentsatz der Zielbenutzer fest: Wählen Sie den Prozentsatz der Benutzerbasis Ihrer App aus, der den unter „Zielbenutzer“ festgelegten Kriterien entspricht und den Sie gleichmäßig zwischen der Basislinie und einer oder mehreren Varianten in Ihrem Experiment aufteilen möchten. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Prozentsätze werden den Benutzern für jedes Experiment, einschließlich doppelter Experimente, nach dem Zufallsprinzip neu zugewiesen.
Konfigurieren Sie im Abschnitt „Varianten“ eine Baseline-In-App-Nachricht, die mithilfe der Nachrichtendesignschnittstelle, die Sie für eine normale In-App-Messaging-Kampagne verwenden, an die Baseline-Gruppe gesendet wird.
Um eine Variante zu Ihrem Experiment hinzuzufügen, klicken Sie auf Variante hinzufügen . Standardmäßig haben Experimente eine Basislinie und eine Variante.
(optional) Geben Sie für jede Variante einen aussagekräftigeren Namen ein.
(optional) Klicken Sie oben im Abschnitt „Varianten“ auf die Schaltfläche „ Varianten vergleichen“ , um eine weitere Nachrichtenvariante nebeneinander mit der Basisnachricht zu vergleichen.
Definieren Sie eine Zielmetrik für Ihr Experiment, die bei der Bewertung von Experimentvarianten verwendet werden soll, zusammen mit allen zusätzlichen Metriken, die Sie aus der Liste verwenden möchten. Zu diesen Kennzahlen gehören integrierte Ziele (Engagement, Käufe, Umsatz, Kundenbindung usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse.
Konfigurieren Sie die Planung für das Experiment:
- Legen Sie ein Start- und Enddatum für das Experiment fest.
- Legen Sie fest, wie In-App-Nachrichten für alle Varianten ausgelöst werden.
Klicken Sie auf „Überprüfen“ , um Ihr Experiment zu speichern.
Pro Projekt sind bis zu 300 Experimente zulässig, die aus bis zu 24 laufenden Experimenten bestehen können, der Rest ist als Entwurf oder abgeschlossen.
Validieren Sie Ihr Experiment auf einem Testgerät
Für jede Firebase-Installation können Sie das damit verbundene Installationsauthentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Experimentvarianten auf einem Testgerät testen, auf dem Ihre App installiert ist. Gehen Sie wie folgt vor, um Ihr Experiment auf einem Testgerät zu validieren:
- Rufen Sie das Installations-Authentifizierungstoken wie folgt ab:
Schnell
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Ziel c
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin+KTX
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
- Klicken Sie in der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
- Klicken Sie auf Entwurf (und/oder Ausführen für Remote-Konfigurationsexperimente), bewegen Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( more_vert ) und klicken Sie dann auf Testgeräte verwalten .
- Geben Sie das Installationsauthentifizierungstoken für ein Testgerät ein und wählen Sie die Experimentvariante aus, die an dieses Testgerät gesendet werden soll.
- Führen Sie die App aus und bestätigen Sie, dass die ausgewählte Variante auf dem Testgerät empfangen wird.
Weitere Informationen zu Firebase-Installationen finden Sie unter Firebase-Installationen verwalten .
Verwalten Sie Ihr Experiment
Unabhängig davon, ob Sie ein Experiment mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie Ihr Experiment dann validieren und starten, Ihr Experiment während der Ausführung überwachen und die Anzahl der in Ihr laufendes Experiment einbezogenen Benutzer erhöhen.
Wenn Ihr Experiment abgeschlossen ist, können Sie sich die von der Gewinnervariante verwendeten Einstellungen notieren und diese Einstellungen dann für alle Benutzer bereitstellen. Oder Sie können ein weiteres Experiment durchführen.
Starten Sie ein Experiment
- Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
- Klicken Sie auf Entwurf und dann auf den Titel Ihres Experiments.
- Um zu überprüfen, ob Ihre App Benutzer hat, die in Ihr Experiment einbezogen werden würden, erweitern Sie die Entwurfsdetails und prüfen Sie, ob im Abschnitt „Targeting und Verteilung“ eine Zahl größer als 0 % vorliegt (z. B. 1 % der Benutzer, die den Kriterien entsprechen ).
- Um Ihr Experiment zu ändern, klicken Sie auf Bearbeiten .
- Um Ihr Experiment zu starten, klicken Sie auf Experiment starten . Sie können bis zu 24 Experimente pro Projekt gleichzeitig durchführen.
Überwachen Sie ein Experiment
Sobald ein Experiment eine Weile läuft, können Sie seinen Fortschritt überprüfen und sehen, wie Ihre Ergebnisse für die Benutzer aussehen, die bisher an Ihrem Experiment teilgenommen haben.
- Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
Klicken Sie auf „Läuft “ und dann auf den Titel Ihres Experiments oder suchen Sie danach. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Experiment anzeigen, darunter die folgenden:
- % Differenz zum Ausgangswert : Ein Maß für die Verbesserung einer Metrik für eine bestimmte Variante im Vergleich zum Ausgangswert. Berechnet durch Vergleich des Wertebereichs für die Variante mit dem Wertebereich für die Basislinie.
- Wahrscheinlichkeit, die Basislinie zu übertreffen : Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die Basislinie für die ausgewählte Metrik übertrifft.
- observed_metric pro Benutzer : Basierend auf Experimentergebnissen ist dies der vorhergesagte Bereich, in den der Metrikwert im Laufe der Zeit fallen wird.
- Gesamte observed_metric : Der beobachtete kumulative Wert für die Basislinie oder Variante. Der Wert wird verwendet, um zu messen, wie gut jede Experimentvariante abschneidet, und wird zur Berechnung von Verbesserung , Wertebereich , Wahrscheinlichkeit, die Grundlinie zu übertreffen und Wahrscheinlichkeit, die beste Variante zu sein , verwendet. Abhängig von der gemessenen Metrik kann diese Spalte mit „Dauer pro Benutzer“, „Umsatz pro Benutzer“, „Retentionsrate“ oder „Conversion-Rate“ beschriftet sein.
Nachdem Ihr Experiment eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App-Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante (falls vorhanden) die „Spitzenreiterin“ ist. Einige Messungen werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.
Führen Sie ein Experiment für alle Benutzer durch
Nachdem ein Experiment lange genug gelaufen ist, sodass Sie eine „führende“ oder Gewinnervariante für Ihre Zielmetrik haben, können Sie das Experiment für 100 % der Benutzer freigeben. Auf diese Weise können Sie eine Variante auswählen, die künftig für alle Benutzer veröffentlicht werden soll. Auch wenn Ihr Experiment keinen klaren Gewinner hervorgebracht hat, können Sie dennoch eine Variante für alle Ihre Benutzer freigeben.
- Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
- Klicken Sie auf „Abgeschlossen“ oder „ Wird ausgeführt“ , klicken Sie auf ein Experiment, das Sie für alle Benutzer freigeben möchten, und klicken Sie auf das Kontextmenü ( ) . Variante ausrollen .
Stellen Sie Ihr Experiment allen Benutzern zur Verfügung, indem Sie einen der folgenden Schritte ausführen:
- Verwenden Sie für ein Experiment, das den Notifications Composer verwendet, das Dialogfeld „Nachricht ausrollen“ , um die Nachricht an die verbleibenden Zielbenutzer zu senden, die nicht Teil des Experiments waren.
- Wählen Sie für ein Remote Config- Experiment eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Experiments definierten Targeting-Kriterien werden Ihrer Vorlage als neue Bedingung hinzugefügt, um sicherzustellen, dass sich die Einführung nur auf Benutzer auswirkt, auf die das Experiment abzielt. Nachdem Sie in Remote Config auf „Überprüfen“ geklickt haben, um die Änderungen zu überprüfen, klicken Sie auf „Änderungen veröffentlichen“ , um den Rollout abzuschließen.
- Verwenden Sie für ein In-App-Messaging- Experiment das Dialogfeld, um zu bestimmen, welche Variante als eigenständige In-App-Messaging-Kampagne eingeführt werden muss. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, wo Sie (falls erforderlich) vor der Veröffentlichung Änderungen vornehmen können.
Erweitern Sie ein Experiment
Wenn Sie feststellen, dass ein Experiment nicht genügend Nutzer für A/B-Tests anzieht, um zum Spitzenreiter zu werden, können Sie die Verteilung Ihres Experiments erhöhen, um einen größeren Prozentsatz der Nutzerbasis der App zu erreichen.
- Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
- Wählen Sie das laufende Experiment aus, das Sie bearbeiten möchten.
- Klicken Sie in der Experimentübersicht auf das Kontextmenü ( ) und dann auf Laufendes Experiment bearbeiten .
- Im Dialogfeld „Targeting“ wird eine Option angezeigt, mit der Sie den Prozentsatz der Benutzer erhöhen können, die am laufenden Experiment teilnehmen. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf „Veröffentlichen“ . Das Experiment wird an den von Ihnen angegebenen Prozentsatz der Benutzer verteilt.
Experiment duplizieren oder stoppen
- Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
- Klicken Sie auf Abgeschlossen oder Wird ausgeführt , halten Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( ) und klicken Sie dann auf Experiment duplizieren oder Experiment stoppen .
Benutzer-Targeting
Mithilfe der folgenden Kriterien für die Nutzerausrichtung können Sie gezielt auf die Nutzer abzielen, die Sie in Ihr Experiment einbeziehen möchten.
Targeting-Kriterium | Betreiber | Werte) | Notiz |
---|---|---|---|
Ausführung | enthält, beinhaltet nicht, passt genau, enthält Regex | Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in das Experiment einbeziehen möchten. | Wenn Sie einen der Operatoren „ enthält“ , „enthält nicht“ oder „trifft genau überein“ verwenden, können Sie eine durch Kommas getrennte Liste von Werten bereitstellen. Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen. |
Benutzerzielgruppe(n) | umfasst alles, umfasst mindestens eines von: umfasst nicht alles, enthält nicht mindestens eines davon | Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihr Experiment einbezogen werden. | Bei einigen Experimenten, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis die Daten erfasst sind, da sie der Latenz der Analytics-Datenverarbeitung unterliegen. Diese Verzögerung tritt am wahrscheinlichsten bei neuen Benutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in qualifizierte Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen . |
Benutzereigenschaft | Für Text: enthält, beinhaltet nicht, passt genau, enthält Regex Für Zahlen: <, ≤, =, ≥, > | Eine Analytics-Benutzereigenschaft wird verwendet, um Benutzer auszuwählen, die in ein Experiment einbezogen werden könnten, mit einer Reihe von Optionen zum Auswählen von Benutzereigenschaftswerten. Auf dem Client können Sie nur Zeichenfolgenwerte für Benutzereigenschaften festlegen. Für Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Benutzereigenschaft in einen Integer/Float-Wert. | Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen. |
Land/Region | N / A | Ein oder mehrere Länder oder Regionen werden zur Auswahl von Benutzern verwendet, die in das Experiment einbezogen werden könnten. | |
Sprachen | N / A | Eine oder mehrere Sprachen und Gebietsschemas, die zur Auswahl von Benutzern verwendet werden, die in das Experiment einbezogen werden könnten. | |
Zuerst öffnen | Mehr als Weniger als Zwischen | Sprechen Sie Nutzer basierend auf dem Zeitpunkt an, zu dem sie Ihre App zum ersten Mal geöffnet haben, angegeben in Tagen. | |
Letzte App-Interaktion | Mehr als Weniger als Zwischen | Sprechen Sie Nutzer gezielt auf der Grundlage der letzten Interaktion mit Ihrer App an, angegeben in Tagen. |
A/B-Testmetriken
Wenn Sie Ihr Experiment erstellen, wählen Sie eine primäre oder Zielmetrik aus, die zur Bestimmung der Gewinnervariante verwendet wird. Sie sollten auch andere Messwerte verfolgen, um die Leistung jeder Experimentvariante besser zu verstehen und wichtige Trends zu verfolgen, die für jede Variante unterschiedlich sein können, wie z. B. Benutzerbindung, App-Stabilität und In-App-Kaufumsatz. Sie können in Ihrem Experiment bis zu fünf Nichtzielmetriken verfolgen.
Angenommen, Sie haben Ihrer App neue In-App-Käufe hinzugefügt und möchten die Wirksamkeit zweier verschiedener „Anstupser“-Nachrichten vergleichen. In diesem Fall können Sie sich dafür entscheiden, den Kaufumsatz als Ihre Zielmetrik festzulegen, da die Gewinnervariante die Benachrichtigung darstellen soll, die zu den höchsten In-App-Kaufeinnahmen geführt hat. Und da Sie auch nachverfolgen möchten, welche Variante zu mehr zukünftigen Conversions und zur Bindung von Nutzern geführt hat, können Sie unter „Andere zu verfolgende Metriken“ Folgendes hinzufügen:- Geschätzter Gesamtumsatz, um zu sehen, wie sich Ihr kombinierter In-App-Kauf- und Werbeumsatz zwischen den beiden Varianten unterscheidet
- Aufbewahrung (1 Tag) , Aufbewahrung (2–3 Tage) , Aufbewahrung (4–7 Tage), um Ihre tägliche/wöchentliche Benutzerbindung zu verfolgen
Die folgenden Tabellen enthalten Details zur Berechnung von Zielmetriken und anderen Metriken.
Zielmetriken
Metrisch | Beschreibung |
---|---|
Absturzfreie Benutzer | Der Prozentsatz der Benutzer, bei denen in Ihrer App keine Fehler aufgetreten sind, die vom Firebase Crashlytics SDK während des Experiments erkannt wurden. |
Geschätzte Werbeeinnahmen | Geschätzte Werbeeinnahmen. |
Geschätzter Gesamtumsatz | Kombinierter Kaufwert und geschätzte Werbeeinnahmen. |
Kauferlös | Kombinierter Wert für alle purchase und in_app_purchase Ereignisse. |
Aufbewahrung (1 Tag) | Die Anzahl der Benutzer, die täglich zu Ihrer App zurückkehren. |
Aufbewahrung (2-3 Tage) | Die Anzahl der Benutzer, die innerhalb von 2–3 Tagen zu Ihrer App zurückkehren. |
Aufbewahrung (4–7 Tage) | Die Anzahl der Benutzer, die innerhalb von 4–7 Tagen zu Ihrer App zurückkehren. |
Aufbewahrung (8–14 Tage) | Die Anzahl der Benutzer, die innerhalb von 8–14 Tagen zu Ihrer App zurückkehren. |
Aufbewahrung (15+ Tage) | Die Anzahl der Benutzer, die 15 oder mehr Tage nach ihrer letzten Nutzung zu Ihrer App zurückkehren. |
first_open | Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Benutzer eine App nach der Installation oder Neuinstallation zum ersten Mal öffnet. Wird als Teil eines Conversion-Trichters verwendet. |
Andere Kennzahlen
Metrisch | Beschreibung |
---|---|
notification_dismiss | Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung verworfen wird (nur Android). |
benachrichtigung_empfangen | Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung empfangen wird, während die App im Hintergrund läuft (nur Android). |
os_update | Ein Analytics-Ereignis, das nachverfolgt, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse . |
screen_view | Ein Analytics-Ereignis, das die in Ihrer App angezeigten Bildschirme verfolgt. Weitere Informationen finden Sie unter Bildschirmaufrufe verfolgen . |
session_start | Ein Analytics-Ereignis, das Benutzersitzungen in Ihrer App zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse . |