Join us for Firebase Summit on November 10, 2021. Tune in to learn how Firebase can help you accelerate app development, release with confidence, and scale with ease. Register

Erstellen Sie In-App-Messaging-Experimente mit A/B-Tests

Wenn Sie Ihre Benutzer erreichen oder eine neue Marketingkampagne starten, möchten Sie sicherstellen, dass Sie es richtig machen. A/B-Tests können Ihnen helfen, die optimale Formulierung und Präsentation zu finden, indem Sie Nachrichtenvarianten an ausgewählten Teilen Ihrer Benutzerbasis testen. Unabhängig davon, ob Ihr Ziel eine bessere Bindung oder eine bessere Konversion eines Angebots ist, können A/B-Tests statistische Analysen durchführen, um festzustellen, ob eine Nachrichtenvariante die Kontrollgruppe für Ihr ausgewähltes Ziel übertrifft.

Um Funktionsvarianten mit einer Kontrollgruppe A/B zu testen, gehen Sie wie folgt vor:

  1. Erstellen Sie Ihr Experiment.
  2. Validieren Sie Ihr Experiment auf einem Testgerät.
  3. Verwalten Sie Ihr Experiment.

Erstellen Sie ein Experiment

In einem Experiment mit Firebase In-App Messaging können Sie mehrere Varianten einer einzelnen In-App-Nachricht auswerten.

  1. Melden Sie sich in Firebase, zu aktualisieren Datenfreigabeeinstellungen und stellen Sie sicher , dass die Datenfreigabe aktiviert ist. Ohne Datenfreigabe hat Ihr Experiment keinen Zugriff auf Analysedaten.
  2. In dem Abschnitt der Engage Firebase Konsole Navigationsleiste auf A / B - Tests.
  3. Klicken Sie auf Create Experiment, und wählen Sie dann In-App - Messaging , wenn für den Dienst mit denen Sie experimentieren wollen gefragt werden .
  4. Alternativ auf der Konsole Firebase Navigationsleiste, erweitert Engage, klicken Sie dann auf In-App - Messaging. Klicken Sie dann auf Neuer Versuch.
  5. Geben Sie einen Namen und eine optionale Beschreibung für das Experiment, und klicken Sie auf Weiter.
  6. Füllen Sie die Targeting - Felder aus, zuerst die App auswählen, die Ihr Experiment verwendet. Sie können auch eine Teilmenge Ihrer Nutzer für die Teilnahme an Ihrem Experiment ausrichten, indem Sie die folgenden Optionen auswählen:

    • Version: Eine oder mehr Versionen Ihrer App
    • Benutzergruppe: Analytics Publikum Ziel Benutzer verwendet , die in dem Experiment eingeschlossen werden könnten
    • User - Eigenschaft: Eine oder mehr Analytics Benutzereigenschaften für die Auswahl Benutzer , die in dem Experiment eingeschlossen werden könnten
    • Prognose: Gruppen von Benutzern durch maschinelles Lernen vorhergesagt insbesondere Verhalten einzulassen
    • Land / Region: Ein oder mehr Länder oder Regionen für die Auswahl Benutzer , die in dem Experiment eingeschlossen werden könnten
    • Gerätesprache: Eine oder mehr Sprachen und Regionen verwendet , um Benutzer auszuwählen , die in dem Experiment eingeschlossen werden könnten
    • First open: Ziel Benutzer basierend auf dem ersten Öffnen sie jemals Ihre App
    • Letzte Interaktion mit mobilen Apps: Ziel Benutzer auf der Basis der letzten Zeit , die sie mit Ihrer App beschäftigt
  7. Stellen Sie den Prozentsatz der Zielgruppe: Wählen Sie den Prozentsatz Ihrer App Nutzerbasis die Kriterien unter Ziel Benutzer passend , dass Sie zwischen der Kontrollgruppe gleichmäßig teilen wollen und eine oder mehrere Varianten in Ihrem Experiment. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Die Prozentsätze werden den Nutzern für jedes Experiment, einschließlich duplizierter Experimente, nach dem Zufallsprinzip neu zugewiesen.

  8. Im Variante Abschnitt konfigurierte eine Baseline in-App - Nachricht an die Kontrollgruppe senden mit der Nachricht Design - Schnittstelle Sie für eine normale In-App - Messaging - Kampagne verwenden.

  9. Um eine Variante zu Ihrem Experiment klicken Sie auf Hinzufügen Variant. Experimente haben standardmäßig eine Kontrollgruppe und eine Variante.

  10. (optional) Geben Sie einen Namen für jede Variante in Ihrem Experiment die Namen Variante A, Variante B zu ersetzen, usw.

  11. (optional) An der Spitze des Varianten Abschnitts, klicken Sie auf den Vergleichsvarianten Taste eine weitere Nachricht vergleichen Varianten Side-by-Side mit der Baseline - Nachricht.

  12. Definieren Sie einen Zielmesswert für Ihren Test, den Sie bei der Bewertung von Testvarianten verwenden möchten, zusammen mit allen gewünschten zusätzlichen Messwerten aus der Dropdown-Liste. Zu diesen Metriken gehören integrierte Ziele (Engagement, Käufe, Umsatz, Kundenbindung usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse.

  13. Konfigurieren Sie die Planung für das Experiment:

    • Legen Sie ein Start- und Enddatum für das Experiment.
    • Legen Sie fest, wie In-App-Nachrichten für alle Varianten ausgelöst werden.
  14. Klicken , um Bewertung Ihr Experiment zu speichern.

Pro Projekt sind bis zu 300 Experimente erlaubt, die aus bis zu 24 laufenden Experimenten bestehen können, der Rest als Entwurf oder abgeschlossen.

Validieren Sie Ihr Experiment auf einem Testgerät

Für jede Firebase-Installation können Sie das zugehörige Installations-Authentifizierungs-Token abrufen. Mit diesem Token können Sie bestimmte Testvarianten auf einem Testgerät testen, auf dem Ihre App installiert ist. Gehen Sie wie folgt vor, um Ihr Experiment auf einem Testgerät zu validieren:

  1. Rufen Sie das Installationsauthentifizierungstoken wie folgt ab:

    Schnell

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Ziel c

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Auf der Firebase Konsole Navigationsleiste auf A / B - Tests.
  3. Klicken Sie auf Entwurf (und / oder Laufen für Fern Experimente Config), schweben über dem Experiment, klicken Sie auf das Kontextmenü ( ), und klicken Sie dann auf Testgeräte verwalten.
  4. Geben Sie das Installations-Auth-Token für ein Testgerät ein und wählen Sie die Experimentvariante aus, die an dieses Testgerät gesendet werden soll.
  5. Führen Sie die App aus und bestätigen Sie, dass die ausgewählte Variante auf dem Testgerät empfangen wird.

Um mehr über Installationen Firebase finden Sie unter Firebase Installationen verwalten .

Verwalten Sie Ihr Experiment

Unabhängig davon, ob Sie ein Experiment mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie Ihr Experiment dann validieren und starten, Ihr Experiment während der Ausführung überwachen und die Anzahl der Benutzer in Ihrem laufenden Experiment erhöhen.

Wenn Ihr Experiment abgeschlossen ist, können Sie sich die Einstellungen der Gewinnervariante notieren und diese Einstellungen für alle Nutzer bereitstellen. Oder Sie können ein anderes Experiment ausführen.

Starten Sie ein Experiment

  1. In dem Abschnitt der Engage Firebase Konsole Navigationsleiste auf A / B - Tests.
  2. Klicken Sie auf Entwurf, und klicken Sie dann auf den Titel des Experiments.
  3. So überprüfen Sie, dass Ihre App hat Benutzer , die in Ihrem Experiment eingeschlossen werden würde, erweitern den Entwurf Details und prüfen , ob eine Zahl größer als 0% im Targeting und Verteilungsabschnitt (beispielsweise 1% der Nutzer mit diesen Kriterien).
  4. Um das Experiment zu ändern, klicken Sie auf Bearbeiten.
  5. Um das Experiment zu starten, klicken Sie auf Start Experiment. Sie können bis zu 24 Experimente pro Projekt gleichzeitig ausführen.

Überwachen Sie ein Experiment

Sobald ein Test eine Weile läuft, können Sie den Fortschritt überprüfen und sehen, wie Ihre Ergebnisse für die Nutzer aussehen, die bisher an Ihrem Experiment teilgenommen haben.

  1. In dem Abschnitt der Engage Firebase Konsole Navigationsleiste auf A / B - Tests.
  2. Klicken Sie auf Ausführen, und klicken Sie dann auf den Titel des Experiments. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Experiment anzeigen, darunter die folgenden:

    • Differenz% vom Ausgangswert: Ein Maß für die Verbesserung einer Metrik für eine gegebene Variante im Vergleich zur Basislinie (oder Kontrollgruppe). Berechnet durch Vergleich des Wertebereichs der Variante mit dem Wertebereich der Baseline.
    • Wahrscheinlichkeit schlagen Basislinie: Die geschätzte Wahrscheinlichkeit , dass eine gegebene Variante die Basislinie für die gewählte Metrik schlägt.
    • observed_metric pro Benutzer: Basierend auf experimentelle Ergebnisse, ist dies der vorhergesagte Bereich , dass der Metrikwert in der Zeit fallen.
    • Insgesamt observed_metric : Der beobachtete kumulative Wert für die Kontrollgruppe oder eine Variante. Der Wert wird verwendet , wie gut jedes Experiment Variante führt zu messen, und wird verwendet, Verbesserung, Wertebereich zu berechnen, Wahrscheinlichkeit zu schlagen Beginn der Studie und Wahrscheinlichkeit die beste Variante zu sein. Abhängig vom gemessenen Messwert kann diese Spalte die Bezeichnung "Dauer pro Nutzer", "Umsatz pro Nutzer", "Bindungsrate" oder "Conversion-Rate" tragen.
  3. Nachdem Ihr Experiment eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App-Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante ggf. „Leader“ ist. Einige Messungen werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.

Führen Sie ein Experiment für alle Benutzer aus

Nachdem ein Test so lange gelaufen ist, dass Sie eine "Leader"- oder Gewinnervariante für Ihren Zielmesswert haben, können Sie den Test für 100 % der Nutzer bereitstellen. Auf diese Weise können Sie eine Variante auswählen, die in Zukunft für alle Benutzer veröffentlicht werden soll. Auch wenn Ihr Test keinen eindeutigen Gewinner hervorgebracht hat, können Sie dennoch eine Variante für alle Ihre Nutzer bereitstellen.

  1. In dem Abschnitt der Engage Firebase Konsole Navigationsleiste auf A / B - Tests.
  2. Klicken Sie auf Fertig oder ausgeführt wird , auf ein Experiment , dass Sie für alle Benutzer ausrollen wollen, klicken Sie auf das Kontextmenü ( ), und klicken Sie dann auf Roll - out - Variante.
  3. Stellen Sie Ihr Experiment allen Nutzern zur Verfügung, indem Sie einen der folgenden Schritte ausführen:

    • Für ein Experiment, das den Benachrichtigungen Komponisten verwendet, verwenden Sie die Roll - out des Nachrichtendialog die Nachricht an die verbleibenden gezielt Benutzer zu senden , die nicht Teil des Experiments waren.
    • Wählen Sie für ein Remote Config-Experiment eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die Targeting-Kriterien, die beim Erstellen des Tests definiert wurden, werden Ihrer Vorlage als neue Bedingung hinzugefügt, um sicherzustellen, dass die Einführung nur Nutzer betrifft, auf die das Experiment ausgerichtet ist. Bewertung im Remote Config Nach dem Klicken auf die Änderungen zu überprüfen, klicken Sie auf Änderungen veröffentlichen , um den Roll - out abgeschlossen.
    • Verwenden Sie für einen In-App-Messaging-Test das Dialogfeld, um zu bestimmen, welche Variante als eigenständige In-App-Messaging-Kampagne eingeführt werden muss. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, um vor der Veröffentlichung (falls erforderlich) Änderungen vorzunehmen.

Erweitern Sie ein Experiment

Wenn Sie feststellen, dass ein Test nicht genügend Nutzer für A/B-Tests einbringt, um zum Marktführer zu werden, können Sie die Verteilung Ihres Tests erhöhen, um einen größeren Prozentsatz der Nutzerbasis der App zu erreichen.

  1. In dem Abschnitt der Engage Firebase Konsole Navigationsleiste auf A / B - Tests.
  2. Wählen Sie das laufende Experiment aus, das Sie bearbeiten möchten.
  3. In der Übersicht Experiment, klicken Sie auf das Kontextmenü ( ) und dann auf Bearbeiten laufende Experiment klicken.
  4. Die Targeting - Dialog zeigt eine Option , um den Prozentsatz der Nutzer zu erhöhen , das in dem aktuell laufenden Experiment ist. Wählen Sie eine Nummer größer als der aktuelle Prozentsatz und klicken Sie auf Veröffentlichen. Der Test wird an den von Ihnen angegebenen Prozentsatz der Nutzer weitergegeben.

Duplizieren oder stoppen Sie ein Experiment

  1. In dem Abschnitt der Engage Firebase Konsole Navigationsleiste auf A / B - Tests.
  2. Klicken Sie auf Fertig oder Rennen, schweben über dem Experiment, klicken Sie auf das Kontextmenü ( ), und klicken Sie dann auf Duplizieren Experiment oder Stop - Experiment.

Nutzer-Targeting

Mithilfe der folgenden Kriterien für die Nutzerausrichtung können Sie die Nutzer gezielt ansprechen, die Sie in Ihren Test einbeziehen möchten.

Targeting-Kriterium Betreiber Werte) Notiz
Ausführung enthält,
beinhaltet nicht,
passt genau,
enthält Regex
Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in den Test einbeziehen möchten.

Wenn eines der enthält verwenden, nicht enthält, oder Streichhölzer genau Operatoren können Sie eine durch Kommata getrennte Liste von Werten liefern.

Bei Verwendung der Regex Operator enthält, können Sie reguläre Ausdrücke in erstellen RE2 - Format. Ihr regulärer Ausdruck kann mit der gesamten oder einem Teil der Zielversionszeichenfolge übereinstimmen. Sie können auch den ^ und $ Anker verwenden den Anfang, Ende oder Gesamtheit einer Zielzeichenfolge übereinstimmen.

Nutzerzielgruppe(n) beinhaltet alles,
enthält mindestens einen von
beinhaltet nicht alle,
enthält nicht mindestens einen von
Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihren Test einbezogen werden.
Benutzereigenschaft Für Texte:
enthält,
beinhaltet nicht,
stimmt genau überein,
enthält Regex

Für Zahlen:
<, ≤, =, ≥, >
Eine Analytics-Nutzer-Property wird verwendet, um Nutzer auszuwählen, die in einen Test einbezogen werden könnten, mit einer Reihe von Optionen zum Auswählen von Nutzer-Property-Werten.

Auf dem Client können Sie nur Zeichenfolgenwerte für Benutzereigenschaften festlegen. Bei Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Benutzereigenschaft in eine Ganzzahl/ein Gleitkommawert.
Bei Verwendung der Regex Operator enthält, können Sie reguläre Ausdrücke in erstellen RE2 - Format. Ihr regulärer Ausdruck kann mit der gesamten oder einem Teil der Zielversionszeichenfolge übereinstimmen. Sie können auch den ^ und $ Anker verwenden den Anfang, Ende oder Gesamtheit einer Zielzeichenfolge übereinstimmen.
Vorhersage N / A Zielgruppen von Nutzern, die von Firebase Predictions definiert wurden, z. B. Nutzer, die Ihre App wahrscheinlich nicht mehr verwenden, oder Nutzer, die wahrscheinlich einen In-App-Kauf tätigen. Wählen Sie einen der vom Firebase Predictions-Tool definierten Werte aus. Wenn eine Option nicht verfügbar ist, müssen Sie sich möglicherweise für Firebase Predictions anmelden, indem Sie den Abschnitt Vorhersagen der Firebase-Konsole besuchen.
Geräteland N / A Ein oder mehrere Länder oder Regionen, die verwendet wurden, um Nutzer auszuwählen, die in den Test einbezogen werden könnten.
Gerätesprache N / A Eine oder mehrere Sprachen und Gebietsschemas, die verwendet werden, um Nutzer auszuwählen, die in den Test einbezogen werden könnten. Dieses Targeting-Kriterium ist nur für Remote Config verfügbar.
Zuerst geöffnet mehr als
weniger als
zwischen
Ausrichtung auf Nutzer basierend auf dem erstmaligen Öffnen Ihrer App, angegeben in Tagen. Dieses Targeting-Kriterium ist nur für Firebase In-App Messaging verfügbar.
Letzte App-Interaktion mehr als
weniger als
zwischen
Ausrichtung auf Nutzer basierend auf der letzten Interaktion mit Ihrer App, angegeben in Tagen. Dieses Targeting-Kriterium ist nur für Firebase In-App Messaging verfügbar.

A/B-Test-Metriken

Wenn Sie Ihren Test erstellen, wählen Sie einen Messwert aus, der zum Vergleichen von Testvarianten verwendet wird, und Sie können auch andere Messwerte zum Nachverfolgen auswählen, um die einzelnen Testvarianten besser zu verstehen und signifikante Nebenwirkungen (z. B. App-Abstürze) zu erkennen. Die folgenden Tabellen enthalten Details zur Berechnung von Zielmetriken und anderen Metriken.

Zielmesswerte

Metrisch Beschreibung
Aufbewahrung (1 Tag) Die Anzahl der Nutzer, die täglich zu Ihrer App zurückkehren.
Aufbewahrung (2-3 Tage) Die Anzahl der Nutzer, die innerhalb von 2-3 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (4-7 Tage) Die Anzahl der Nutzer, die innerhalb von 4-7 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (8-14 Tage) Die Anzahl der Nutzer, die innerhalb von 8 bis 14 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (15+ Tage) Die Anzahl der Nutzer, die 15 oder mehr Tage nach der letzten Nutzung zu Ihrer App zurückkehren.
Benachrichtigung geöffnet Verfolgt, ob ein Benutzer die vom Notifications Composer gesendete Benachrichtigung öffnet.
Einkaufseinnahmen Gesamtwert für alle ecommerce_purchase und in_app_purchase Veranstaltungen.
Geschätzter AdMob-Umsatz Geschätzte Einnahmen aus AdMob.
Geschätzter Gesamtumsatz Kombinierter Kaufwert und geschätzter AdMob-Umsatz.
first_open Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Benutzer eine App nach der Installation oder Neuinstallation zum ersten Mal öffnet. Wird als Teil eines Conversion-Trichters verwendet.
Notification_open Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Benutzer eine vom Notifications Composer gesendete Benachrichtigung öffnet. Wird als Teil eines Conversion-Trichters verwendet.

Andere Messwerte

Metrisch Beschreibung
Absturzfreie Benutzer Der Prozentsatz der Nutzer, bei denen keine Fehler in Ihrer App aufgetreten sind, die während des Tests vom Firebase Crashlytics SDK erkannt wurden.
notification_dismiss Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung abgelehnt wird (nur Android).
notification_receive Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung empfangen wird, während sich die App im Hintergrund befindet (nur Android).
os_update Ereignis Ein Analytics , dass Spuren , wenn das Gerät Betriebssystem auf eine neue version.To mehr lernen aktualisiert wird, finden automatisch Ereignisse gesammelt .
screen_view Ein Analytics-Ereignis, das die in Ihrer App angezeigten Bildschirme erfasst. Um mehr zu erfahren, siehe Spur Bildschirmansichten .
session_start Ein Analytics-Ereignis, das Benutzersitzungen in Ihrer App zählt. Um mehr zu erfahren, sehen Sie automatisch gesammelt Ereignisse .
user_engagement Ein Analytics-Ereignis, das regelmäßig ausgelöst wird, während sich Ihre App im Vordergrund befindet. Um mehr zu erfahren, sehen Sie automatisch gesammelt Ereignisse .