Erstellen Sie Firebase-Remote-Konfigurationsexperimente mit A/B-Tests

Wenn Sie Firebase Remote Config verwenden, um Einstellungen für eine Anwendung mit einer aktiven Benutzerbasis bereitzustellen, möchten Sie sicherstellen, dass Sie es richtig machen. Mithilfe von A/B-Testing-Experimenten können Sie Folgendes am besten ermitteln:

• Der beste Weg, eine Funktion zu implementieren, um das Benutzererlebnis zu optimieren. Allzu oft erfahren App-Entwickler erst dann, dass ihre Benutzer eine neue Funktion oder ein aktualisiertes Benutzererlebnis nicht mögen, wenn die Bewertung ihrer App im App Store sinkt. Mithilfe von A/B-Tests können Sie messen, ob Ihre Benutzer neue Funktionsvarianten mögen oder ob sie die App in ihrer jetzigen Form bevorzugen. Wenn Sie die meisten Ihrer Benutzer in einer Baseline-Gruppe belassen, stellen Sie außerdem sicher, dass der Großteil Ihrer Benutzerbasis Ihre App bis zum Abschluss des Experiments weiterhin verwenden kann, ohne dass sich ihr Verhalten oder Erscheinungsbild ändert.
• Der beste Weg, die Benutzererfahrung für ein Geschäftsziel zu optimieren. Manchmal implementieren Sie Produktänderungen, um eine Kennzahl wie Umsatz oder Kundenbindung zu maximieren. Mit A/B-Tests legen Sie Ihr Geschäftsziel fest und Firebase führt die statistische Analyse durch, um festzustellen, ob eine Variante die Basislinie für Ihr ausgewähltes Ziel übertrifft.

Gehen Sie wie folgt vor, um Funktionsvarianten mit einer Baseline A/B-Tests durchzuführen:

1. Erstellen Sie Ihr Experiment.
2. Validieren Sie Ihr Experiment auf einem Testgerät.
3. Verwalten Sie Ihr Experiment.

Erstellen Sie ein Experiment

Mit einem Remote Config-Experiment können Sie mehrere Varianten eines oder mehrerer Remote Config-Parameter bewerten.

1. Melden Sie sich bei der Firebase-Konsole an und stellen Sie sicher, dass Google Analytics in Ihrem Projekt aktiviert ist, damit das Experiment Zugriff auf Analytics-Daten hat.

   Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie es auf der Registerkarte „Integrationen“ aktivieren, auf die Sie über settings > Projekteinstellungen in der Firebase-Konsole zugreifen können.

2. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .

3. Klicken Sie auf Experiment erstellen und wählen Sie dann Remote-Konfiguration aus, wenn Sie nach dem Dienst gefragt werden, mit dem Sie experimentieren möchten.

4. Geben Sie einen Namen und optional eine Beschreibung für Ihr Experiment ein und klicken Sie auf Weiter .

5. Füllen Sie die Targeting- Felder aus und wählen Sie zunächst die App aus, die Ihr Experiment verwendet. Sie können auch eine Teilmenge Ihrer Benutzer gezielt zur Teilnahme an Ihrem Experiment ansprechen, indem Sie auf und klicken und dann Optionen aus der folgenden Liste auswählen:

   • Version: Eine oder mehrere Versionen Ihrer App
   • Build-Nummer: Der Versionscode der App
   • Sprachen: Eine oder mehrere Sprachen und Gebietsschemas, die zur Auswahl von Benutzern verwendet werden, die in das Experiment einbezogen werden könnten
   • Land/Region: Ein oder mehrere Länder oder Regionen zur Auswahl von Benutzern, die in das Experiment einbezogen werden sollen
   • Benutzerzielgruppe: Analytics-Zielgruppen, die zur gezielten Ausrichtung auf Benutzer verwendet werden, die möglicherweise in das Experiment einbezogen werden
   • Benutzereigenschaft: Eine oder mehrere Analytics-Benutzereigenschaften zur Auswahl von Benutzern, die in das Experiment einbezogen werden könnten

   • Erstes Öffnen: Sprechen Sie Nutzer basierend auf dem Zeitpunkt an, zu dem sie Ihre App zum ersten Mal geöffnet haben

     Das Nutzer-Targeting nach der ersten Öffnungszeit ist verfügbar, nachdem Sie eine Android- oder iOS-App ausgewählt haben. Es wird von den folgenden Remote Config SDK-Versionen unterstützt: Apple-Plattformen SDK v9.0.0+ und Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

     Beim ersten offenen Ereignis muss auch Analytics auf dem Client aktiviert worden sein.

6. Legen Sie den Prozentsatz der Zielbenutzer fest: Geben Sie den Prozentsatz der Benutzerbasis Ihrer App ein, der den unter „Zielbenutzer“ festgelegten Kriterien entspricht und den Sie gleichmäßig zwischen der Basislinie und einer oder mehreren Varianten in Ihrem Experiment aufteilen möchten. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Die Benutzer werden jedem Experiment, einschließlich doppelter Experimente, nach dem Zufallsprinzip zugewiesen.

7. Legen Sie optional ein Aktivierungsereignis fest, um sicherzustellen, dass in Ihrem Experiment nur die Daten von Benutzern gezählt werden, die zuerst ein Analytics-Ereignis ausgelöst haben. Beachten Sie, dass alle Benutzer, die Ihren Targeting-Parametern entsprechen, Remote Config-Testwerte erhalten, aber nur diejenigen, die ein Aktivierungsereignis auslösen, in Ihre Testergebnisse einbezogen werden.

   Um ein gültiges Experiment sicherzustellen, stellen Sie sicher, dass das von Ihnen ausgewählte Ereignis eintritt , nachdem Ihre App abgerufene Konfigurationswerte aktiviert hat. Darüber hinaus können die folgenden Ereignisse nicht verwendet werden, da sie immer auftreten, bevor abgerufene Werte aktiviert werden:

   • app_install
   • app_remove
   • app_update
   • dynamic_link_first_open

8. Wählen Sie für die Ziele des Experiments die primäre Metrik aus, die Sie verfolgen möchten, und fügen Sie alle weiteren Metriken, die Sie verfolgen möchten, aus der Liste hinzu. Dazu gehören integrierte Ziele (Käufe, Umsatz, Bindung, absturzfreie Benutzer usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse. Wenn Sie fertig sind, klicken Sie auf Weiter .

9. Wählen Sie im Abschnitt „Varianten“ eine Basislinie und mindestens eine Variante für das Experiment aus. Verwenden Sie die Liste „Auswählen oder neu erstellen“ , um einen oder mehrere Parameter zum Experimentieren hinzuzufügen. Sie können einen Parameter erstellen, der zuvor noch nicht in der Firebase-Konsole verwendet wurde. Er muss jedoch in Ihrer App vorhanden sein, damit er Auswirkungen hat. Sie können diesen Schritt wiederholen, um Ihrem Experiment mehrere Parameter hinzuzufügen.

10. (optional) Um mehr als eine Variante zu Ihrem Experiment hinzuzufügen, klicken Sie auf „Weitere Variante hinzufügen“ .

11. Ändern Sie einen oder mehrere Parameter für bestimmte Varianten. Alle unveränderten Parameter gelten auch für Benutzer, die nicht am Experiment beteiligt sind.

12. Erweitern Sie Variantengewichte, um die Variantengewichtung für das Experiment anzuzeigen oder zu ändern. Standardmäßig wird jede Variante gleich gewichtet. Beachten Sie, dass ungleiche Gewichte die Datenerfassungszeit verlängern können und Gewichte nach Beginn des Experiments nicht mehr geändert werden können .

13. Klicken Sie auf „Überprüfen“ , um Ihr Experiment zu speichern.

Pro Projekt sind bis zu 300 Experimente zulässig, die aus bis zu 24 laufenden Experimenten bestehen können, der Rest ist als Entwurf oder abgeschlossen.

Validieren Sie Ihr Experiment auf einem Testgerät

Für jede Firebase-Installation können Sie das damit verbundene Installationsauthentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Experimentvarianten auf einem Testgerät testen, auf dem Ihre App installiert ist. Gehen Sie wie folgt vor, um Ihr Experiment auf einem Testgerät zu validieren:

1. Rufen Sie das Installations-Authentifizierungstoken wie folgt ab:

   Schnell

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }
   

   Ziel c

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];
   

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin+KTX

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

   C++

   firebase::InitResult init_result;
   auto* installations_object = firebase::installations::Installations::GetInstance(
       firebase::App::GetInstance(), &init_result);
   installations_object->GetToken().OnCompletion(
       [](const firebase::Future& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::installations::kErrorNone) {
           printf("Installations Auth Token %s\n", future.result()->c_str());
         }
       });
   

   Einheit

   Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
       }
     });
   

2. Klicken Sie in der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
3. Klicken Sie auf Entwurf (und/oder Ausführen für Remote-Konfigurationsexperimente), bewegen Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( more_vert ) und klicken Sie dann auf Testgeräte verwalten .
4. Geben Sie das Installationsauthentifizierungstoken für ein Testgerät ein und wählen Sie die Experimentvariante aus, die an dieses Testgerät gesendet werden soll.
5. Führen Sie die App aus und bestätigen Sie, dass die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase-Installationen finden Sie unter Firebase-Installationen verwalten .

Verwalten Sie Ihr Experiment

Unabhängig davon, ob Sie ein Experiment mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie Ihr Experiment dann validieren und starten, Ihr Experiment während der Ausführung überwachen und die Anzahl der in Ihr laufendes Experiment einbezogenen Benutzer erhöhen.

Wenn Ihr Experiment abgeschlossen ist, können Sie sich die von der Gewinnervariante verwendeten Einstellungen notieren und diese Einstellungen dann für alle Benutzer bereitstellen. Oder Sie können ein weiteres Experiment durchführen.

Starten Sie ein Experiment

1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
2. Klicken Sie auf Entwurf und dann auf den Titel Ihres Experiments.
3. Um zu überprüfen, ob Ihre App Benutzer hat, die in Ihr Experiment einbezogen werden würden, erweitern Sie die Entwurfsdetails und prüfen Sie, ob im Abschnitt „Targeting und Verteilung“ eine Zahl größer als 0 % vorliegt (z. B. 1 % der Benutzer, die den Kriterien entsprechen ).
4. Um Ihr Experiment zu ändern, klicken Sie auf Bearbeiten .
5. Um Ihr Experiment zu starten, klicken Sie auf Experiment starten . Sie können bis zu 24 Experimente pro Projekt gleichzeitig durchführen.

Überwachen Sie ein Experiment

Sobald ein Experiment eine Weile läuft, können Sie seinen Fortschritt überprüfen und sehen, wie Ihre Ergebnisse für die Benutzer aussehen, die bisher an Ihrem Experiment teilgenommen haben.

1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .

2. Klicken Sie auf „Läuft “ und dann auf den Titel Ihres Experiments oder suchen Sie danach. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Experiment anzeigen, darunter die folgenden:

   • % Differenz zum Ausgangswert : Ein Maß für die Verbesserung einer Metrik für eine bestimmte Variante im Vergleich zum Ausgangswert. Berechnet durch Vergleich des Wertebereichs für die Variante mit dem Wertebereich für die Basislinie.
   • Wahrscheinlichkeit, die Basislinie zu übertreffen : Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die Basislinie für die ausgewählte Metrik übertrifft.
   • observed_metric pro Benutzer : Basierend auf Experimentergebnissen ist dies der vorhergesagte Bereich, in den der Metrikwert im Laufe der Zeit fallen wird.
   • Gesamte observed_metric : Der beobachtete kumulative Wert für die Basislinie oder Variante. Der Wert wird verwendet, um zu messen, wie gut jede Experimentvariante abschneidet, und wird zur Berechnung von Verbesserung , Wertebereich , Wahrscheinlichkeit, die Grundlinie zu übertreffen und Wahrscheinlichkeit, die beste Variante zu sein , verwendet. Abhängig von der gemessenen Metrik kann diese Spalte mit „Dauer pro Benutzer“, „Umsatz pro Benutzer“, „Retentionsrate“ oder „Conversion-Rate“ beschriftet sein.

3. Nachdem Ihr Experiment eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App-Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante (falls vorhanden) die „Spitzenreiterin“ ist. Einige Messungen werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.

Führen Sie ein Experiment für alle Benutzer durch

Nachdem ein Experiment lange genug gelaufen ist, sodass Sie eine „führende“ oder Gewinnervariante für Ihre Zielmetrik haben, können Sie das Experiment für 100 % der Benutzer freigeben. Auf diese Weise können Sie eine Variante auswählen, die künftig für alle Benutzer veröffentlicht werden soll. Auch wenn Ihr Experiment keinen klaren Gewinner hervorgebracht hat, können Sie dennoch eine Variante für alle Ihre Benutzer freigeben.

1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
2. Klicken Sie auf „Abgeschlossen“ oder „ Wird ausgeführt“ , klicken Sie auf ein Experiment, das Sie für alle Benutzer freigeben möchten, und klicken Sie auf das Kontextmenü ( more_vert ) . Variante ausrollen .

3. Stellen Sie Ihr Experiment allen Benutzern zur Verfügung, indem Sie einen der folgenden Schritte ausführen:

   • Verwenden Sie für ein Experiment, das den Notifications Composer verwendet, das Dialogfeld „Nachricht ausrollen“ , um die Nachricht an die verbleibenden Zielbenutzer zu senden, die nicht Teil des Experiments waren.
   • Wählen Sie für ein Remote Config- Experiment eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Experiments definierten Targeting-Kriterien werden Ihrer Vorlage als neue Bedingung hinzugefügt, um sicherzustellen, dass sich die Einführung nur auf Benutzer auswirkt, auf die das Experiment abzielt. Nachdem Sie in Remote Config auf „Überprüfen“ geklickt haben, um die Änderungen zu überprüfen, klicken Sie auf „Änderungen veröffentlichen“ , um den Rollout abzuschließen.
   • Verwenden Sie für ein In-App-Messaging- Experiment das Dialogfeld, um zu bestimmen, welche Variante als eigenständige In-App-Messaging-Kampagne eingeführt werden muss. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, wo Sie (falls erforderlich) vor der Veröffentlichung Änderungen vornehmen können.

Erweitern Sie ein Experiment

Wenn Sie feststellen, dass ein Experiment nicht genügend Nutzer für A/B-Tests anzieht, um zum Spitzenreiter zu werden, können Sie die Verteilung Ihres Experiments erhöhen, um einen größeren Prozentsatz der Nutzerbasis der App zu erreichen.

1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
2. Wählen Sie das laufende Experiment aus, das Sie bearbeiten möchten.
3. Klicken Sie in der Experimentübersicht auf das Kontextmenü ( more_vert ) und dann auf Laufendes Experiment bearbeiten .
4. Im Dialogfeld „Targeting“ wird eine Option angezeigt, mit der Sie den Prozentsatz der Benutzer erhöhen können, die am laufenden Experiment teilnehmen. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf „Veröffentlichen“ . Das Experiment wird an den von Ihnen angegebenen Prozentsatz der Benutzer verteilt.

Experiment duplizieren oder stoppen

1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , halten Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( more_vert ) und klicken Sie dann auf Experiment duplizieren oder Experiment stoppen .

Benutzer-Targeting

Mithilfe der folgenden Kriterien für die Nutzerausrichtung können Sie gezielt auf die Nutzer abzielen, die Sie in Ihr Experiment einbeziehen möchten.

Targeting-Kriterium	Betreiber	Werte)	Notiz
Ausführung	enthält, beinhaltet nicht, passt genau, enthält Regex	Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in das Experiment einbeziehen möchten.	Wenn Sie einen der Operatoren „ enthält“ , „enthält nicht“ oder „trifft genau überein“ verwenden, können Sie eine durch Kommas getrennte Liste von Werten bereitstellen. Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.
Benutzerzielgruppe(n)	umfasst alles, umfasst mindestens eines von: umfasst nicht alles, enthält nicht mindestens eines davon	Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihr Experiment einbezogen werden.	Bei einigen Experimenten, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis die Daten erfasst sind, da sie der Latenz der Analytics-Datenverarbeitung unterliegen. Diese Verzögerung tritt am wahrscheinlichsten bei neuen Benutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in qualifizierte Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen . Für Remote Config bedeutet dies, dass, selbst wenn ein Benutzer technisch für eine Zielgruppe qualifiziert ist, der Benutzer nicht in das Experiment einbezogen wird, wenn Analytics den Benutzer bei der Ausführung von „fetchAndActivate()“ noch nicht zur Zielgruppe hinzugefügt hat.
Benutzereigenschaft	Für Text: enthält, beinhaltet nicht, passt genau, enthält Regex Für Zahlen: <, ≤, =, ≥, >	Eine Analytics-Benutzereigenschaft wird verwendet, um Benutzer auszuwählen, die in ein Experiment einbezogen werden könnten, mit einer Reihe von Optionen zum Auswählen von Benutzereigenschaftswerten. Auf dem Client können Sie nur Zeichenfolgenwerte für Benutzereigenschaften festlegen. Für Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Benutzereigenschaft in einen Integer/Float-Wert.	Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.
Land/Region	N / A	Ein oder mehrere Länder oder Regionen werden zur Auswahl von Benutzern verwendet, die in das Experiment einbezogen werden könnten.
Sprachen	N / A	Eine oder mehrere Sprachen und Gebietsschemas, die zur Auswahl von Benutzern verwendet werden, die in das Experiment einbezogen werden könnten.
Zuerst öffnen	Vor Nach	Sprechen Sie Nutzer gezielt an, wenn sie Ihre App zum ersten Mal öffnen: Wählen Sie „Neue Benutzer“ aus, um Benutzer anzusprechen, die Ihre App nach einem bestimmten Datum und einer bestimmten Uhrzeit in der Zukunft zum ersten Mal öffnen. Wählen Sie „Zeitraum“ aus, um Nutzer anzusprechen, die Ihre App zum ersten Mal innerhalb des Zeitraums vor oder nach dem von Ihnen angegebenen Datum und der angegebenen Uhrzeit öffnen. Kombinieren Sie Vorher- und Nachher- Bedingungen, um Benutzer innerhalb eines bestimmten Zeitraums anzusprechen.	Das Nutzer-Targeting nach dem ersten Öffnen ist verfügbar, nachdem Sie eine Android- oder iOS-App ausgewählt haben. Es wird derzeit von den folgenden Remote Config SDK-Versionen unterstützt: Apple-Plattformen SDK v9.0.0+ und Android SDK v21.1.1+ (Firebase BoM v30.3.0+). Beim ersten offenen Ereignis muss auch Analytics auf dem Client aktiviert worden sein.

A/B-Testmetriken

Wenn Sie Ihr Experiment erstellen, wählen Sie eine primäre oder Zielmetrik aus, die zur Bestimmung der Gewinnervariante verwendet wird. Sie sollten auch andere Messwerte verfolgen, um die Leistung jeder Experimentvariante besser zu verstehen und wichtige Trends zu verfolgen, die für jede Variante unterschiedlich sein können, wie z. B. Benutzerbindung, App-Stabilität und In-App-Kaufumsatz. Sie können in Ihrem Experiment bis zu fünf nicht zielgerichtete Messwerte verfolgen.

Angenommen, Sie verwenden Remote Config, um zwei verschiedene Spielabläufe in Ihrer App zu starten und möchten die In-App-Käufe und Werbeeinnahmen optimieren, möchten aber auch die Stabilität und Benutzerbindung jeder Variante verfolgen. In diesem Fall könnten Sie erwägen, „Geschätzter Gesamtumsatz“ als Ihre Zielmetrik auszuwählen, da diese Einnahmen aus In-App-Käufen und Werbeeinnahmen umfasst. Anschließend könnten Sie unter „Andere zu verfolgende Metriken“ Folgendes hinzufügen:

• Um Ihre tägliche und wöchentliche Benutzerbindung zu verfolgen, fügen Sie „Retention (2–3 Tage)“ und „Retention (4–7 Tage)“ hinzu.
• Um die Stabilität zwischen den beiden Spielabläufen zu vergleichen, fügen Sie Absturzfreie Benutzer hinzu.
• Um detailliertere Ansichten der einzelnen Umsatzarten anzuzeigen, fügen Sie „Kaufumsatz“ und „Geschätzter Werbeumsatz“ hinzu.

Die folgenden Tabellen enthalten Details zur Berechnung von Zielmetriken und anderen Metriken.

Zielmetriken

Metrisch	Beschreibung
Absturzfreie Benutzer	Der Prozentsatz der Benutzer, bei denen in Ihrer App keine Fehler aufgetreten sind, die vom Firebase Crashlytics SDK während des Experiments erkannt wurden.
Geschätzte Werbeeinnahmen	Geschätzte Werbeeinnahmen.
Geschätzter Gesamtumsatz	Kombinierter Kaufwert und geschätzte Werbeeinnahmen.
Kauferlös	Kombinierter Wert für alle purchase und in_app_purchase Ereignisse.
Aufbewahrung (1 Tag)	Die Anzahl der Benutzer, die täglich zu Ihrer App zurückkehren.
Aufbewahrung (2-3 Tage)	Die Anzahl der Benutzer, die innerhalb von 2–3 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (4–7 Tage)	Die Anzahl der Benutzer, die innerhalb von 4–7 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (8–14 Tage)	Die Anzahl der Benutzer, die innerhalb von 8–14 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (15+ Tage)	Die Anzahl der Benutzer, die 15 oder mehr Tage nach ihrer letzten Nutzung zu Ihrer App zurückkehren.
first_open	Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Benutzer eine App nach der Installation oder Neuinstallation zum ersten Mal öffnet. Wird als Teil eines Conversion-Trichters verwendet.

Andere Kennzahlen

Metrisch	Beschreibung
notification_dismiss	Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung verworfen wird (nur Android).
benachrichtigung_empfangen	Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung empfangen wird, während die App im Hintergrund läuft (nur Android).
os_update	Ein Analytics-Ereignis, das nachverfolgt, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .
screen_view	Ein Analytics-Ereignis, das die in Ihrer App angezeigten Bildschirme verfolgt. Weitere Informationen finden Sie unter Bildschirmaufrufe verfolgen .
session_start	Ein Analytics-Ereignis, das Benutzersitzungen in Ihrer App zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .

BigQuery-Datenexport

Zusätzlich zur Anzeige von A/B-Test-Experimentdaten in der Firebase-Konsole können Sie Experimentdaten in BigQuery untersuchen und analysieren. Während A/B-Tests keine separate BigQuery-Tabelle haben, werden Experiment- und Variantenmitgliedschaften für jedes Google Analytics-Ereignis in den Analytics-Ereignistabellen gespeichert.

Die Benutzereigenschaften, die Experimentinformationen enthalten, haben die Form userProperty.key like "firebase_exp_%" oder userProperty.key = "firebase_exp_01" , wobei 01 die Experiment-ID ist und userProperty.value.string_value den (nullbasierten) Index des enthält Versuchsvariante.

Sie können diese Experimentbenutzereigenschaften verwenden, um Experimentdaten zu extrahieren. Dies gibt Ihnen die Möglichkeit, Ihre Experimentergebnisse auf viele verschiedene Arten aufzuteilen und die Ergebnisse von A/B-Tests unabhängig zu überprüfen.

Führen Sie zunächst die folgenden Schritte aus, wie in dieser Anleitung beschrieben:

1. Aktivieren Sie den BigQuery-Export für Google Analytics in der Firebase-Konsole
2. Greifen Sie mit BigQuery auf A/B-Testdaten zu
3. Entdecken Sie Beispielabfragen

Aktivieren Sie den BigQuery-Export für Google Analytics in der Firebase-Konsole

Wenn Sie den Spark-Plan nutzen, können Sie die BigQuery-Sandbox verwenden, um kostenlos auf BigQuery zuzugreifen, vorbehaltlich der Sandbox-Beschränkungen . Weitere Informationen finden Sie unter Preise und die BigQuery-Sandbox .

Stellen Sie zunächst sicher, dass Sie Ihre Analytics-Daten nach BigQuery exportieren:

1. Öffnen Sie die Registerkarte „Integrationen“ , auf die Sie über settings “ > „Projekteinstellungen“ in der Firebase-Konsole zugreifen können.
2. Wenn Sie BigQuery bereits mit anderen Firebase-Diensten verwenden, klicken Sie auf Verwalten . Andernfalls klicken Sie auf „Verknüpfen“ .
3. Lesen Sie die Informationen zum Verknüpfen von Firebase mit BigQuery und klicken Sie dann auf Weiter .
4. Aktivieren Sie im Abschnitt „Integration konfigurieren“ den Schalter „Google Analytics“ .

5. Wählen Sie eine Region aus und wählen Sie Exporteinstellungen.

6. Klicken Sie auf „Mit BigQuery verknüpfen“ .

Je nachdem, wie Sie die Daten exportieren, kann es bis zu einem Tag dauern, bis die Tabellen verfügbar sind. Weitere Informationen zum Exportieren von Projektdaten nach BigQuery finden Sie unter Projektdaten nach BigQuery exportieren .

Greifen Sie in BigQuery auf A/B-Testdaten zu

Bevor Sie Daten für ein bestimmtes Experiment abfragen, möchten Sie einige oder alle der folgenden Informationen erhalten, die Sie in Ihrer Abfrage verwenden können:

• Experiment-ID: Diese erhalten Sie über die URL der Experiment-Übersichtsseite . Wenn Ihre URL beispielsweise wie folgt aussieht: https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 , lautet die Experiment-ID 25 .
• Google Analytics-Property-ID : Dies ist Ihre 9-stellige Google Analytics-Property-ID. Sie finden dies in Google Analytics; Es erscheint auch in BigQuery, wenn Sie Ihren Projektnamen erweitern, um den Namen Ihrer Google Analytics-Ereignistabelle ( project_name.analytics_000000000.events ) anzuzeigen.
• Experimentdatum: Um eine schnellere und effizientere Abfrage zu erstellen, empfiehlt es sich, Ihre Abfragen auf die Google Analytics-Tagesereignistabellenpartitionen zu beschränken, die Ihre Experimentdaten enthalten – Tabellen, die mit dem Suffix YYYYMMDD gekennzeichnet sind. Wenn Ihr Experiment also vom 2. Februar 2024 bis zum 2. Mai 2024 lief, würden Sie ein _TABLE_SUFFIX between '20240202' AND '20240502' angeben. Ein Beispiel finden Sie unter „Auswählen der Werte eines bestimmten Experiments“ .
• Ereignisnamen: Normalerweise entsprechen diese Ihren Zielmetriken , die Sie im Experiment konfiguriert haben. Zum Beispiel in_app_purchase Ereignisse, ad_impression oder user_retention Ereignisse.

Nachdem Sie die Informationen gesammelt haben, die Sie zum Generieren Ihrer Abfrage benötigen:

1. Öffnen Sie BigQuery in der Google Cloud Console.
2. Wählen Sie Ihr Projekt und dann SQL-Abfrage erstellen aus .
3. Fügen Sie Ihre Anfrage hinzu. Beispielabfragen zum Ausführen finden Sie unter Beispielabfragen erkunden .
4. Klicken Sie auf Ausführen .

Fragen Sie Experimentdaten mit der automatisch generierten Abfrage der Firebase-Konsole ab

Wenn Sie den Blaze-Plan verwenden, bietet die Übersichtsseite des Experiments eine Beispielabfrage, die den Experimentnamen, Varianten, Ereignisnamen und die Anzahl der Ereignisse für das angezeigte Experiment zurückgibt.

So rufen Sie die automatisch generierte Abfrage ab und führen sie aus:

1. Öffnen Sie in der Firebase-Konsole A/B-Tests und wählen Sie das A/B-Test-Experiment aus, das Sie abfragen möchten, um die Experimentübersicht zu öffnen.
2. Wählen Sie im Menü „Optionen“ unter „BigQuery-Integration“ die Option „Experimentdaten abfragen“ aus. Dadurch wird Ihr Projekt in BigQuery in der Google Cloud Console-Konsole geöffnet und eine einfache Abfrage bereitgestellt, mit der Sie Ihre Experimentdaten abfragen können.

Das folgende Beispiel zeigt eine generierte Abfrage für ein Experiment mit drei Varianten (einschließlich der Basislinie) mit dem Namen „Winter-Welcome-Experiment“. Für jedes Ereignis werden der Name des aktiven Experiments, der Variantenname, das eindeutige Ereignis und die Ereignisanzahl zurückgegeben. Beachten Sie, dass der Abfrage-Generator Ihren Projektnamen nicht im Tabellennamen angibt, da dieser direkt in Ihrem Projekt geöffnet wird.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Weitere Abfragebeispiele finden Sie unter Beispielabfragen erkunden .

Entdecken Sie Beispielabfragen

In den folgenden Abschnitten finden Sie Beispiele für Abfragen, mit denen Sie A/B-Test-Experimentdaten aus Google Analytics-Ereignistabellen extrahieren können.

Extrahieren Sie Kauf- und Experimentstandardabweichungswerte aus allen Experimenten

Sie können Testergebnisdaten verwenden, um die Ergebnisse von Firebase A/B-Tests unabhängig zu überprüfen. Die folgende BigQuery-SQL-Anweisung extrahiert Experimentvarianten, die Anzahl der einzelnen Benutzer in jeder Variante und summiert den Gesamtumsatz aus in_app_purchase und ecommerce_purchase Ereignissen sowie Standardabweichungen für alle Experimente innerhalb des als _TABLE_SUFFIX angegebenen Anfangs- und Enddatums. Sie können die Daten, die Sie aus dieser Abfrage erhalten, mit einem statistischen Signifikanzgenerator für einseitige T-Tests verwenden, um zu überprüfen, ob die von Firebase bereitgestellten Ergebnisse mit Ihrer eigenen Analyse übereinstimmen.

Weitere Informationen darüber, wie A/B-Tests Inferenzen berechnen, finden Sie unter Testergebnisse interpretieren .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Wählen Sie die Werte eines bestimmten Experiments aus

Die folgende Beispielabfrage veranschaulicht, wie Daten für ein bestimmtes Experiment in BigQuery abgerufen werden. Diese Beispielabfrage gibt den Experimentnamen, Variantennamen (einschließlich Baseline), Ereignisnamen und Ereignisanzahlen zurück.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName