Erstellen Sie In-App-Messaging-Experimente mit A/B-Tests

Wenn Sie Ihre Benutzer erreichen oder eine neue Marketingkampagne starten, möchten Sie sicherstellen, dass Sie es richtig machen. A/B-Tests können Ihnen helfen, die optimale Formulierung und Präsentation zu finden, indem Sie Nachrichtenvarianten an ausgewählten Teilen Ihrer Benutzerbasis testen. Unabhängig davon, ob Ihr Ziel eine bessere Bindung oder Konversion eines Angebots ist, A/B-Tests können statistische Analysen durchführen, um festzustellen, ob eine Nachrichtenvariante die Baseline für Ihr ausgewähltes Ziel übertrifft.

Gehen Sie wie folgt vor, um Funktionsvarianten mit einer Baseline zu testen:

  1. Erstellen Sie Ihr Experiment.
  2. Validieren Sie Ihr Experiment auf einem Testgerät.
  3. Verwalten Sie Ihr Experiment.

Erstellen Sie ein Experiment

Mit einem Experiment, das Firebase In-App Messaging verwendet, können Sie mehrere Varianten einer einzelnen In-App-Nachricht bewerten.

  1. Melden Sie sich bei der Firebase-Konsole an und vergewissern Sie sich, dass Google Analytics in Ihrem Projekt aktiviert ist, damit das Experiment Zugriff auf Analytics-Daten hat.

    Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie es auf der Registerkarte Integrationen aktivieren, auf die Sie über > Projekteinstellungen in der Firebase-Konsole zugreifen können.

  2. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .

  3. Klicken Sie auf Experiment erstellen und wählen Sie dann In-App-Messaging aus, wenn Sie nach dem Dienst gefragt werden, mit dem Sie experimentieren möchten.

  4. Erweitern Sie alternativ in der Navigationsleiste der Firebase-Konsole Engage und klicken Sie dann auf In-App-Messaging . Klicken Sie dann auf Neues Experiment .

  5. Geben Sie einen Namen und eine optionale Beschreibung für Ihr Experiment ein und klicken Sie auf Weiter .

  6. Füllen Sie die Targeting- Felder aus und wählen Sie zuerst die App aus, die Ihren Test verwendet. Sie können auch eine Teilmenge Ihrer Benutzer zur Teilnahme an Ihrem Experiment ansprechen, indem Sie Optionen auswählen, die Folgendes umfassen:

    • Version: Eine oder mehrere Versionen Ihrer App
    • Benutzerzielgruppe: Analytics-Zielgruppen, die verwendet werden, um Benutzer anzusprechen, die möglicherweise in den Test einbezogen werden
    • Benutzereigenschaft: Eine oder mehrere Analytics-Benutzereigenschaften zum Auswählen von Benutzern, die möglicherweise in den Test aufgenommen werden
    • Land/Region: Ein oder mehrere Länder oder Regionen zur Auswahl von Benutzern, die möglicherweise in den Test aufgenommen werden
    • Gerätesprache: Eine oder mehrere Sprachen und Gebietsschemas, die verwendet werden, um Benutzer auszuwählen, die möglicherweise in den Test aufgenommen werden
    • Erstes Öffnen: Richten Sie Benutzer basierend darauf aus, wann sie Ihre App zum ersten Mal geöffnet haben
    • Letztes App-Engagement: Richten Sie Nutzer basierend auf dem letzten Mal aus, als sie mit Ihrer App interagiert haben
  7. Legen Sie den Prozentsatz der Zielbenutzer fest: Wählen Sie den Prozentsatz der Benutzerbasis Ihrer App aus, der den unter Zielbenutzer festgelegten Kriterien entspricht, die Sie in Ihrem Test gleichmäßig zwischen der Baseline und einer oder mehreren Varianten aufteilen möchten. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Prozentsätze werden Benutzern für jedes Experiment, einschließlich duplizierter Experimente, nach dem Zufallsprinzip neu zugewiesen.

  8. Konfigurieren Sie im Abschnitt „ Varianten “ eine Baseline-In-App-Nachricht, die an die Baseline-Gruppe gesendet werden soll, indem Sie die Nachrichtendesign-Oberfläche verwenden, die Sie für eine normale In-App-Messaging-Kampagne verwenden.

  9. Um Ihrem Test eine Variante hinzuzufügen, klicken Sie auf Variante hinzufügen . Standardmäßig haben Experimente eine Baseline und eine Variante.

  10. (optional) Geben Sie einen Namen für jede Variante in Ihrem Experiment ein, um die Namen Variante A , Variante B usw. zu ersetzen.

  11. (Optional) Klicken Sie oben im Abschnitt „ Varianten “ auf die Schaltfläche „ Varianten vergleichen“, um eine weitere Nachrichtenvariante nebeneinander mit der Basisnachricht zu vergleichen.

  12. Definieren Sie einen Zielmesswert für Ihr Experiment, der bei der Bewertung von Testvarianten verwendet werden soll, zusammen mit allen gewünschten zusätzlichen Messwerten aus der Dropdown-Liste. Zu diesen Messwerten gehören integrierte Ziele (Engagement, Käufe, Umsatz, Kundenbindung usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse.

  13. Konfigurieren Sie die Planung für das Experiment:

    • Legen Sie ein Start- und Enddatum für das Experiment fest.
    • Legen Sie fest, wie In-App-Nachrichten über alle Varianten hinweg ausgelöst werden.
  14. Klicken Sie auf Überprüfen , um Ihr Experiment zu speichern.

Pro Projekt sind bis zu 300 Experimente zulässig, die aus bis zu 24 laufenden Experimenten bestehen können, der Rest als Entwurf oder abgeschlossen.

Validieren Sie Ihr Experiment auf einem Testgerät

Für jede Firebase-Installation können Sie das zugehörige Installations-Authentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Experimentvarianten auf einem Testgerät mit installierter App testen. Gehen Sie wie folgt vor, um Ihr Experiment auf einem Testgerät zu validieren:

  1. Rufen Sie das Installations-Authentifizierungstoken wie folgt ab:

    Schnell

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Ziel c

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Klicken Sie in der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  3. Klicken Sie auf Entwurf (und/oder Wird für Experimente zur Remote-Konfiguration ausgeführt), bewegen Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( ) und dann auf Testgeräte verwalten .
  4. Geben Sie das Installations-Authentifizierungstoken für ein Testgerät ein und wählen Sie die Versuchsvariante aus, die an dieses Testgerät gesendet werden soll.
  5. Führen Sie die App aus und bestätigen Sie, dass die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase-Installationen finden Sie unter Verwalten von Firebase-Installationen .

Verwalten Sie Ihr Experiment

Unabhängig davon, ob Sie ein Experiment mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie Ihr Experiment anschließend validieren und starten, Ihr Experiment überwachen, während es ausgeführt wird, und die Anzahl der Benutzer erhöhen, die in Ihrem laufenden Experiment enthalten sind.

Wenn Ihr Experiment abgeschlossen ist, können Sie die von der Gewinnervariante verwendeten Einstellungen notieren und diese Einstellungen dann für alle Benutzer bereitstellen. Oder Sie können ein anderes Experiment durchführen.

Starten Sie ein Experiment

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Entwurf und dann auf den Titel Ihres Experiments.
  3. Um zu überprüfen, ob Ihre App Nutzer hat, die in Ihren Test einbezogen werden würden, erweitern Sie die Entwurfsdetails und suchen Sie im Abschnitt „ Ausrichtung und Verteilung “ nach einer Zahl größer als 0 % (z. B. 1 % der Nutzer, die die Kriterien erfüllen ).
  4. Um Ihren Test zu ändern, klicken Sie auf Bearbeiten .
  5. Um Ihr Experiment zu starten, klicken Sie auf Experiment starten . Sie können bis zu 24 Experimente pro Projekt gleichzeitig ausführen.

Überwachen Sie ein Experiment

Wenn ein Experiment eine Weile läuft, können Sie seinen Fortschritt überprüfen und sehen, wie Ihre Ergebnisse für die Benutzer aussehen, die bisher an Ihrem Experiment teilgenommen haben.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Wird ausgeführt und dann auf den Titel Ihres Experiments. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Experiment anzeigen, einschließlich der folgenden:

    • % Unterschied vom Ausgangswert : Ein Maß für die Verbesserung einer Metrik für eine bestimmte Variante im Vergleich zum Ausgangswert. Wird berechnet, indem der Wertebereich für die Variante mit dem Wertebereich für die Baseline verglichen wird.
    • Wahrscheinlichkeit, die Baseline zu übertreffen : Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die Baseline für die ausgewählte Metrik übertrifft.
    • observed_metric pro Benutzer : Basierend auf den Testergebnissen ist dies der vorhergesagte Bereich, in den der Metrikwert im Laufe der Zeit fallen wird.
    • Total observed_metric : Der beobachtete kumulative Wert für die Baseline oder Variante. Der Wert wird verwendet, um zu messen, wie gut jede Testvariante abschneidet, und wird verwendet, um Verbesserung , Wertebereich , Wahrscheinlichkeit, den Ausgangswert zu übertreffen , und Wahrscheinlichkeit, die beste Variante zu sein , zu berechnen . Abhängig von der gemessenen Metrik kann diese Spalte mit „Dauer pro Benutzer“, „Umsatz pro Benutzer“, „Aufbewahrungsrate“ oder „Conversion-Rate“ bezeichnet sein.
  3. Nachdem Ihr Experiment eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App-Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante, falls vorhanden, der „Leader“ ist. Einige Messungen werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.

Führen Sie ein Experiment für alle Benutzer durch

Nachdem ein Experiment lange genug gelaufen ist, sodass Sie eine „Leader“- oder Gewinnervariante für Ihren Zielmesswert haben, können Sie das Experiment für 100 % der Nutzer einführen. Auf diese Weise können Sie eine Variante auswählen, die in Zukunft für alle Benutzer veröffentlicht werden soll. Auch wenn Ihr Test keinen klaren Gewinner hervorgebracht hat, können Sie dennoch eine Variante für alle Ihre Benutzer bereitstellen.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , klicken Sie auf ein Experiment, das Sie allen Benutzern zur Verfügung stellen möchten, klicken Sie auf das Kontextmenü ( ) und dann auf Variante einführen .
  3. Führen Sie Ihren Test für alle Benutzer aus, indem Sie einen der folgenden Schritte ausführen:

    • Verwenden Sie für ein Experiment, das den Benachrichtigungs-Composer verwendet, das Dialogfeld Rollout- Nachricht , um die Nachricht an die verbleibenden Zielbenutzer zu senden, die nicht am Experiment teilgenommen haben.
    • Wählen Sie für ein Remote Config- Experiment eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Experiments definierten Targeting-Kriterien werden Ihrer Vorlage als neue Bedingung hinzugefügt, um sicherzustellen, dass die Einführung nur Nutzer betrifft, auf die das Experiment abzielt. Nachdem Sie in Remote Config auf Review geklickt haben, um die Änderungen zu überprüfen, klicken Sie auf Änderungen veröffentlichen , um die Einführung abzuschließen.
    • Verwenden Sie für ein In-App-Messaging- Experiment das Dialogfeld, um zu bestimmen, welche Variante als eigenständige In-App-Messaging-Kampagne eingeführt werden muss. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, um vor der Veröffentlichung Änderungen (falls erforderlich) vorzunehmen.

Erweitern Sie ein Experiment

Wenn Sie feststellen, dass ein Test nicht genügend Benutzer für A/B-Tests anzieht, um einen führenden Anbieter zu erklären, können Sie die Verbreitung Ihres Tests erhöhen, um einen größeren Prozentsatz der Benutzerbasis der App zu erreichen.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Wählen Sie den laufenden Test aus, den Sie bearbeiten möchten.
  3. Klicken Sie in der Experimentübersicht auf das Kontextmenü ( ) und dann auf Laufendes Experiment bearbeiten .
  4. Das Dialogfeld " Targeting " zeigt eine Option zum Erhöhen des Prozentsatzes der Benutzer an, die sich im derzeit ausgeführten Test befinden. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf „Veröffentlichen“ . Der Test wird auf den von Ihnen angegebenen Prozentsatz von Benutzern übertragen.

Experiment duplizieren oder beenden

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , ) und klicken Sie dann auf Experiment duplizieren oder Experiment beenden .

Benutzer-Targeting

Sie können die Nutzer, die Sie in Ihren Test aufnehmen möchten, anhand der folgenden Nutzer-Targeting-Kriterien ansprechen.

Targeting-Kriterium Betreiber Werte) Notiz
Ausführung enthält,
beinhaltet nicht,
passt genau,
enthält Regex
Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in den Test einbeziehen möchten.

Wenn Sie einen der Operatoren enthält , enthält nicht oder stimmt genau überein , können Sie eine durch Kommas getrennte Liste von Werten angeben.

Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2 -Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.

Benutzerzielgruppe(n) beinhaltet alle,
enthält mindestens eines von
beinhaltet nicht alles,
enthält nicht mindestens eines von
Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihren Test einbezogen werden. Bei einigen Tests, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis Daten gesammelt werden, da sie der Datenverarbeitungslatenz von Analytics unterliegen . Diese Verzögerung tritt am wahrscheinlichsten bei neuen Nutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in qualifizierte Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen .
Benutzereigenschaft Für Texte:
enthält,
beinhaltet nicht,
passt genau,
enthält Regex

Für Zahlen:
<, ≤, =, ≥, >
Eine Analytics-Benutzereigenschaft wird verwendet, um Benutzer auszuwählen, die in einen Test einbezogen werden könnten, mit einer Reihe von Optionen zum Auswählen von Benutzereigenschaftswerten.

Auf dem Client können Sie nur Zeichenfolgenwerte für Benutzereigenschaften festlegen. Für Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Benutzereigenschaft in eine Ganzzahl/Float.
Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2 -Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.
Land des Geräts N / A Ein oder mehrere Länder oder Regionen, die verwendet werden, um Nutzer auszuwählen, die in den Test einbezogen werden könnten.
Gerätesprache N / A Eine oder mehrere Sprachen und Gebietsschemata, die verwendet werden, um Benutzer auszuwählen, die möglicherweise in den Test aufgenommen werden. Dieses Targeting-Kriterium ist nur für Remote Config verfügbar.
Zuerst öffnen mehr als
weniger als
zwischen
Targeting von Benutzern basierend auf dem ersten Öffnen Ihrer App, angegeben in Tagen. Dieses Targeting-Kriterium ist nur für Firebase In-App Messaging verfügbar.
Letzte App-Interaktion mehr als
weniger als
zwischen
Targeting von Benutzern basierend auf der letzten Zeit, in der sie mit Ihrer App interagiert haben, angegeben in Tagen. Dieses Targeting-Kriterium ist nur für Firebase In-App Messaging verfügbar.

A/B-Test-Metriken

Wenn Sie Ihr Experiment erstellen, wählen Sie einen primären oder Zielmesswert aus, der verwendet wird, um die erfolgreiche Variante zu bestimmen. Sie sollten auch andere Messwerte verfolgen, um die Leistung jeder Testvariante besser zu verstehen und wichtige Trends zu verfolgen, die sich für jede Variante unterscheiden können, wie z. B. Nutzerbindung, App-Stabilität und Umsatz aus In-App-Käufen. Sie können in Ihrem Test bis zu fünf Nicht-Zielmesswerte verfolgen.

Angenommen, Sie haben Ihrer App neue In-App-Käufe hinzugefügt und möchten die Effektivität von zwei verschiedenen „Nudge“-Nachrichten vergleichen. In diesem Fall entscheiden Sie sich möglicherweise dafür, den Kaufumsatz als Ihre Zielmetrik festzulegen, da Sie möchten, dass die Gewinnervariante die Benachrichtigung darstellt, die zu den höchsten In-App-Kaufeinnahmen geführt hat. Und weil Sie auch nachverfolgen möchten, welche Variante zu mehr zukünftigen Conversions und treuen Nutzern geführt hat, können Sie Folgendes unter Andere zu verfolgende Metriken hinzufügen:

  • Geschätzter Gesamtumsatz , um zu sehen, wie sich Ihre kombinierten In-App-Käufe und Werbeeinnahmen zwischen den beiden Varianten unterscheiden
  • Aufbewahrung (1 Tag) , Aufbewahrung (2–3 Tage) , Aufbewahrung (4–7 Tage) , um Ihre tägliche/wöchentliche Benutzerbindung zu verfolgen

Die folgenden Tabellen enthalten Details dazu, wie Zielmetriken und andere Metriken berechnet werden.

Zielkennzahlen

Metrisch Beschreibung
Absturzfreie Benutzer Der Prozentsatz der Nutzer, die keine Fehler in Ihrer App festgestellt haben, die während des Tests vom Firebase Crashlytics SDK erkannt wurden.
Geschätzter Werbeumsatz Geschätzte Werbeeinnahmen.
Geschätzter Gesamtumsatz Kombinierter Wert für Kauf und geschätzte Werbeeinnahmen.
Kaufeinnahmen Kombinierter Wert für alle purchase und in_app_purchase Ereignisse.
Aufbewahrung (1 Tag) Die Anzahl der Benutzer, die täglich zu Ihrer App zurückkehren.
Aufbewahrung (2-3 Tage) Die Anzahl der Nutzer, die innerhalb von zwei bis drei Tagen zu Ihrer App zurückkehren.
Aufbewahrung (4-7 Tage) Die Anzahl der Nutzer, die innerhalb von 4–7 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (8-14 Tage) Die Anzahl der Nutzer, die innerhalb von 8–14 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (15+ Tage) Die Anzahl der Nutzer, die 15 oder mehr Tage nach der letzten Verwendung zu Ihrer App zurückkehren.
first_open Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Benutzer eine App nach der Installation oder Neuinstallation zum ersten Mal öffnet. Wird als Teil eines Conversion-Funnels verwendet.

Andere Metriken

Metrisch Beschreibung
Benachrichtigung_entlassen Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Benachrichtigungs-Composer gesendete Benachrichtigung verworfen wird (nur Android).
Benachrichtigung_empfangen Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Benachrichtigungs-Composer gesendete Benachrichtigung empfangen wird, während sich die App im Hintergrund befindet (nur Android).
os_update Ein Analytics-Ereignis, das nachverfolgt, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .
Bildschirmansicht Ein Analytics-Ereignis, das die in Ihrer App angezeigten Bildschirme nachverfolgt. Weitere Informationen finden Sie unter Screenviews verfolgen .
session_start Ein Analytics-Ereignis, das Benutzersitzungen in Ihrer App zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .
,

Wenn Sie Ihre Benutzer erreichen oder eine neue Marketingkampagne starten, möchten Sie sicherstellen, dass Sie es richtig machen. A/B-Tests können Ihnen helfen, die optimale Formulierung und Präsentation zu finden, indem Sie Nachrichtenvarianten an ausgewählten Teilen Ihrer Benutzerbasis testen. Unabhängig davon, ob Ihr Ziel eine bessere Bindung oder Konversion eines Angebots ist, A/B-Tests können statistische Analysen durchführen, um festzustellen, ob eine Nachrichtenvariante die Baseline für Ihr ausgewähltes Ziel übertrifft.

Gehen Sie wie folgt vor, um Funktionsvarianten mit einer Baseline zu testen:

  1. Erstellen Sie Ihr Experiment.
  2. Validieren Sie Ihr Experiment auf einem Testgerät.
  3. Verwalten Sie Ihr Experiment.

Erstellen Sie ein Experiment

Mit einem Experiment, das Firebase In-App Messaging verwendet, können Sie mehrere Varianten einer einzelnen In-App-Nachricht bewerten.

  1. Melden Sie sich bei der Firebase-Konsole an und vergewissern Sie sich, dass Google Analytics in Ihrem Projekt aktiviert ist, damit das Experiment Zugriff auf Analytics-Daten hat.

    Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie es auf der Registerkarte Integrationen aktivieren, auf die Sie über > Projekteinstellungen in der Firebase-Konsole zugreifen können.

  2. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .

  3. Klicken Sie auf Experiment erstellen und wählen Sie dann In-App-Messaging aus, wenn Sie nach dem Dienst gefragt werden, mit dem Sie experimentieren möchten.

  4. Erweitern Sie alternativ in der Navigationsleiste der Firebase-Konsole Engage und klicken Sie dann auf In-App-Messaging . Klicken Sie dann auf Neues Experiment .

  5. Geben Sie einen Namen und eine optionale Beschreibung für Ihr Experiment ein und klicken Sie auf Weiter .

  6. Füllen Sie die Targeting- Felder aus und wählen Sie zuerst die App aus, die Ihren Test verwendet. Sie können auch eine Teilmenge Ihrer Benutzer zur Teilnahme an Ihrem Experiment ansprechen, indem Sie Optionen auswählen, die Folgendes umfassen:

    • Version: Eine oder mehrere Versionen Ihrer App
    • Benutzerzielgruppe: Analytics-Zielgruppen, die verwendet werden, um Benutzer anzusprechen, die möglicherweise in den Test einbezogen werden
    • Benutzereigenschaft: Eine oder mehrere Analytics-Benutzereigenschaften zum Auswählen von Benutzern, die möglicherweise in den Test aufgenommen werden
    • Land/Region: Ein oder mehrere Länder oder Regionen zur Auswahl von Benutzern, die möglicherweise in den Test aufgenommen werden
    • Gerätesprache: Eine oder mehrere Sprachen und Gebietsschemas, die verwendet werden, um Benutzer auszuwählen, die möglicherweise in den Test aufgenommen werden
    • Erstes Öffnen: Richten Sie Benutzer basierend darauf aus, wann sie Ihre App zum ersten Mal geöffnet haben
    • Letztes App-Engagement: Richten Sie Nutzer basierend auf dem letzten Mal aus, als sie mit Ihrer App interagiert haben
  7. Legen Sie den Prozentsatz der Zielbenutzer fest: Wählen Sie den Prozentsatz der Benutzerbasis Ihrer App aus, der den unter Zielbenutzer festgelegten Kriterien entspricht, die Sie in Ihrem Test gleichmäßig zwischen der Baseline und einer oder mehreren Varianten aufteilen möchten. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Prozentsätze werden Benutzern für jedes Experiment, einschließlich duplizierter Experimente, nach dem Zufallsprinzip neu zugewiesen.

  8. Konfigurieren Sie im Abschnitt „ Varianten “ eine Baseline-In-App-Nachricht, die an die Baseline-Gruppe gesendet werden soll, indem Sie die Nachrichtendesign-Oberfläche verwenden, die Sie für eine normale In-App-Messaging-Kampagne verwenden.

  9. Um Ihrem Test eine Variante hinzuzufügen, klicken Sie auf Variante hinzufügen . Standardmäßig haben Experimente eine Baseline und eine Variante.

  10. (optional) Geben Sie einen Namen für jede Variante in Ihrem Experiment ein, um die Namen Variante A , Variante B usw. zu ersetzen.

  11. (Optional) Klicken Sie oben im Abschnitt „ Varianten “ auf die Schaltfläche „ Varianten vergleichen“, um eine weitere Nachrichtenvariante nebeneinander mit der Basisnachricht zu vergleichen.

  12. Definieren Sie einen Zielmesswert für Ihr Experiment, der bei der Bewertung von Testvarianten verwendet werden soll, zusammen mit allen gewünschten zusätzlichen Messwerten aus der Dropdown-Liste. Zu diesen Messwerten gehören integrierte Ziele (Engagement, Käufe, Umsatz, Kundenbindung usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse.

  13. Konfigurieren Sie die Planung für das Experiment:

    • Legen Sie ein Start- und Enddatum für das Experiment fest.
    • Legen Sie fest, wie In-App-Nachrichten über alle Varianten hinweg ausgelöst werden.
  14. Klicken Sie auf Überprüfen , um Ihr Experiment zu speichern.

Pro Projekt sind bis zu 300 Experimente zulässig, die aus bis zu 24 laufenden Experimenten bestehen können, der Rest als Entwurf oder abgeschlossen.

Validieren Sie Ihr Experiment auf einem Testgerät

Für jede Firebase-Installation können Sie das zugehörige Installations-Authentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Experimentvarianten auf einem Testgerät mit installierter App testen. Gehen Sie wie folgt vor, um Ihr Experiment auf einem Testgerät zu validieren:

  1. Rufen Sie das Installations-Authentifizierungstoken wie folgt ab:

    Schnell

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Ziel c

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Klicken Sie in der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  3. Klicken Sie auf Entwurf (und/oder Wird für Experimente zur Remote-Konfiguration ausgeführt), bewegen Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( ) und dann auf Testgeräte verwalten .
  4. Geben Sie das Installations-Authentifizierungstoken für ein Testgerät ein und wählen Sie die Versuchsvariante aus, die an dieses Testgerät gesendet werden soll.
  5. Führen Sie die App aus und bestätigen Sie, dass die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase-Installationen finden Sie unter Verwalten von Firebase-Installationen .

Verwalten Sie Ihr Experiment

Unabhängig davon, ob Sie ein Experiment mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie Ihr Experiment anschließend validieren und starten, Ihr Experiment überwachen, während es ausgeführt wird, und die Anzahl der Benutzer erhöhen, die in Ihrem laufenden Experiment enthalten sind.

Wenn Ihr Experiment abgeschlossen ist, können Sie die von der Gewinnervariante verwendeten Einstellungen notieren und diese Einstellungen dann für alle Benutzer bereitstellen. Oder Sie können ein anderes Experiment durchführen.

Starten Sie ein Experiment

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Entwurf und dann auf den Titel Ihres Experiments.
  3. Um zu überprüfen, ob Ihre App Nutzer hat, die in Ihren Test einbezogen werden würden, erweitern Sie die Entwurfsdetails und suchen Sie im Abschnitt „ Ausrichtung und Verteilung “ nach einer Zahl größer als 0 % (z. B. 1 % der Nutzer, die die Kriterien erfüllen ).
  4. Um Ihren Test zu ändern, klicken Sie auf Bearbeiten .
  5. Um Ihr Experiment zu starten, klicken Sie auf Experiment starten . Sie können bis zu 24 Experimente pro Projekt gleichzeitig ausführen.

Überwachen Sie ein Experiment

Wenn ein Experiment eine Weile läuft, können Sie seinen Fortschritt überprüfen und sehen, wie Ihre Ergebnisse für die Benutzer aussehen, die bisher an Ihrem Experiment teilgenommen haben.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Wird ausgeführt und dann auf den Titel Ihres Experiments. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Experiment anzeigen, einschließlich der folgenden:

    • % Unterschied vom Ausgangswert : Ein Maß für die Verbesserung einer Metrik für eine bestimmte Variante im Vergleich zum Ausgangswert. Wird berechnet, indem der Wertebereich für die Variante mit dem Wertebereich für die Baseline verglichen wird.
    • Wahrscheinlichkeit, die Baseline zu übertreffen : Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die Baseline für die ausgewählte Metrik übertrifft.
    • observed_metric pro Benutzer : Basierend auf den Testergebnissen ist dies der vorhergesagte Bereich, in den der Metrikwert im Laufe der Zeit fallen wird.
    • Total observed_metric : Der beobachtete kumulative Wert für die Baseline oder Variante. Der Wert wird verwendet, um zu messen, wie gut jede Testvariante abschneidet, und wird verwendet, um Verbesserung , Wertebereich , Wahrscheinlichkeit, den Ausgangswert zu übertreffen , und Wahrscheinlichkeit, die beste Variante zu sein , zu berechnen . Abhängig von der gemessenen Metrik kann diese Spalte mit „Dauer pro Benutzer“, „Umsatz pro Benutzer“, „Aufbewahrungsrate“ oder „Conversion-Rate“ bezeichnet sein.
  3. Nachdem Ihr Experiment eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App-Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante, falls vorhanden, der „Leader“ ist. Einige Messungen werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.

Führen Sie ein Experiment für alle Benutzer durch

Nachdem ein Experiment lange genug gelaufen ist, sodass Sie eine „Leader“- oder Gewinnervariante für Ihren Zielmesswert haben, können Sie das Experiment für 100 % der Nutzer einführen. Auf diese Weise können Sie eine Variante auswählen, die in Zukunft für alle Benutzer veröffentlicht werden soll. Auch wenn Ihr Test keinen klaren Gewinner hervorgebracht hat, können Sie dennoch eine Variante für alle Ihre Benutzer bereitstellen.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , klicken Sie auf ein Experiment, das Sie allen Benutzern zur Verfügung stellen möchten, klicken Sie auf das Kontextmenü ( ) und dann auf Variante einführen .
  3. Führen Sie Ihren Test für alle Benutzer aus, indem Sie einen der folgenden Schritte ausführen:

    • Verwenden Sie für ein Experiment, das den Benachrichtigungs-Composer verwendet, das Dialogfeld Rollout- Nachricht , um die Nachricht an die verbleibenden Zielbenutzer zu senden, die nicht am Experiment teilgenommen haben.
    • Wählen Sie für ein Remote Config- Experiment eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Experiments definierten Targeting-Kriterien werden Ihrer Vorlage als neue Bedingung hinzugefügt, um sicherzustellen, dass die Einführung nur Nutzer betrifft, auf die das Experiment abzielt. Nachdem Sie in Remote Config auf Review geklickt haben, um die Änderungen zu überprüfen, klicken Sie auf Änderungen veröffentlichen , um die Einführung abzuschließen.
    • Verwenden Sie für ein In-App-Messaging- Experiment das Dialogfeld, um zu bestimmen, welche Variante als eigenständige In-App-Messaging-Kampagne eingeführt werden muss. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, um vor der Veröffentlichung Änderungen (falls erforderlich) vorzunehmen.

Erweitern Sie ein Experiment

Wenn Sie feststellen, dass ein Test nicht genügend Benutzer für A/B-Tests anzieht, um einen führenden Anbieter zu erklären, können Sie die Verbreitung Ihres Tests erhöhen, um einen größeren Prozentsatz der Benutzerbasis der App zu erreichen.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Wählen Sie den laufenden Test aus, den Sie bearbeiten möchten.
  3. Klicken Sie in der Experimentübersicht auf das Kontextmenü ( ) und dann auf Laufendes Experiment bearbeiten .
  4. Das Dialogfeld " Targeting " zeigt eine Option zum Erhöhen des Prozentsatzes der Benutzer an, die sich im derzeit ausgeführten Test befinden. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf „Veröffentlichen“ . Der Test wird auf den von Ihnen angegebenen Prozentsatz von Benutzern übertragen.

Experiment duplizieren oder beenden

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , ) und klicken Sie dann auf Experiment duplizieren oder Experiment beenden .

Benutzer-Targeting

Sie können die Nutzer, die Sie in Ihren Test aufnehmen möchten, anhand der folgenden Nutzer-Targeting-Kriterien ansprechen.

Targeting-Kriterium Betreiber Werte) Notiz
Ausführung enthält,
beinhaltet nicht,
passt genau,
enthält Regex
Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in den Test einbeziehen möchten.

Wenn Sie einen der Operatoren enthält , enthält nicht oder stimmt genau überein , können Sie eine durch Kommas getrennte Liste von Werten angeben.

Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2 -Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.

Benutzerzielgruppe(n) beinhaltet alle,
enthält mindestens eines von
beinhaltet nicht alles,
enthält nicht mindestens eines von
Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihren Test einbezogen werden. Bei einigen Tests, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis Daten gesammelt werden, da sie der Datenverarbeitungslatenz von Analytics unterliegen . Diese Verzögerung tritt am wahrscheinlichsten bei neuen Nutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in qualifizierte Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen .
Benutzereigenschaft Für Texte:
enthält,
beinhaltet nicht,
passt genau,
enthält Regex

Für Zahlen:
<, ≤, =, ≥, >
Eine Analytics-Benutzereigenschaft wird verwendet, um Benutzer auszuwählen, die in einen Test einbezogen werden könnten, mit einer Reihe von Optionen zum Auswählen von Benutzereigenschaftswerten.

Auf dem Client können Sie nur Zeichenfolgenwerte für Benutzereigenschaften festlegen. Für Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Benutzereigenschaft in eine Ganzzahl/Float.
Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2 -Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.
Land des Geräts N / A Ein oder mehrere Länder oder Regionen, die verwendet werden, um Nutzer auszuwählen, die in den Test einbezogen werden könnten.
Gerätesprache N / A Eine oder mehrere Sprachen und Gebietsschemata, die verwendet werden, um Benutzer auszuwählen, die möglicherweise in den Test aufgenommen werden. Dieses Targeting-Kriterium ist nur für Remote Config verfügbar.
Zuerst öffnen mehr als
weniger als
zwischen
Targeting von Benutzern basierend auf dem ersten Öffnen Ihrer App, angegeben in Tagen. Dieses Targeting-Kriterium ist nur für Firebase In-App Messaging verfügbar.
Letzte App-Interaktion mehr als
weniger als
zwischen
Targeting von Benutzern basierend auf der letzten Zeit, in der sie mit Ihrer App interagiert haben, angegeben in Tagen. Dieses Targeting-Kriterium ist nur für Firebase In-App Messaging verfügbar.

A/B-Test-Metriken

Wenn Sie Ihr Experiment erstellen, wählen Sie einen primären oder Zielmesswert aus, der verwendet wird, um die erfolgreiche Variante zu bestimmen. Sie sollten auch andere Messwerte verfolgen, um die Leistung jeder Testvariante besser zu verstehen und wichtige Trends zu verfolgen, die sich für jede Variante unterscheiden können, wie z. B. Nutzerbindung, App-Stabilität und Umsatz aus In-App-Käufen. Sie können in Ihrem Test bis zu fünf Nicht-Zielmesswerte verfolgen.

Angenommen, Sie haben Ihrer App neue In-App-Käufe hinzugefügt und möchten die Effektivität von zwei verschiedenen „Nudge“-Nachrichten vergleichen. In diesem Fall entscheiden Sie sich möglicherweise dafür, den Kaufumsatz als Ihre Zielmetrik festzulegen, da Sie möchten, dass die Gewinnervariante die Benachrichtigung darstellt, die zu den höchsten In-App-Kaufeinnahmen geführt hat. Und weil Sie auch nachverfolgen möchten, welche Variante zu mehr zukünftigen Conversions und treuen Nutzern geführt hat, können Sie Folgendes unter Andere zu verfolgende Metriken hinzufügen:

  • Geschätzter Gesamtumsatz , um zu sehen, wie sich Ihre kombinierten In-App-Käufe und Werbeeinnahmen zwischen den beiden Varianten unterscheiden
  • Aufbewahrung (1 Tag) , Aufbewahrung (2-3 Tage) , Aufbewahrung (4-7 Tage) , um Ihre tägliche/wöchentliche Benutzerbindung zu verfolgen

Die folgenden Tabellen enthalten Details dazu, wie Zielmetriken und andere Metriken berechnet werden.

Zielkennzahlen

Metrisch Beschreibung
Absturzfreie Benutzer Der Prozentsatz der Nutzer, die keine Fehler in Ihrer App festgestellt haben, die während des Tests vom Firebase Crashlytics SDK erkannt wurden.
Geschätzter Werbeumsatz Geschätzte Werbeeinnahmen.
Geschätzter Gesamtumsatz Kombinierter Wert für Kauf und geschätzte Werbeeinnahmen.
Kaufeinnahmen Kombinierter Wert für alle purchase und in_app_purchase Ereignisse.
Aufbewahrung (1 Tag) Die Anzahl der Benutzer, die täglich zu Ihrer App zurückkehren.
Retention (2-3 days) The number of users who return to your app within 2-3 days.
Retention (4-7 days) The number of users who return to your app within 4-7 days.
Retention (8-14 days) The number of users who return to your app within 8-14 days.
Retention (15+ days) The number of users who return to your app 15 or more days after they last used it.
first_open An Analytics event that triggers when a user first opens an app after installing or reinstalling it. Used as part of a conversion funnel.

Other metrics

Metric Beschreibung
notification_dismiss An Analytics event that triggers when a notification sent by the Notifications composer is dismissed (Android only).
notification_receive An Analytics event that triggers when a notification sent by the Notifications composer is received while the app is in the background (Android only).
os_update An Analytics event that tracks when the device operating system is updated to a new version.To learn more, see Automatically collected events .
screen_view An Analytics event that tracks screens viewed within your app. To learn more, see Track Screenviews .
session_start An Analytics event that counts user sessions in your app. To learn more, see Automatically collected events .