Erstellen Sie Firebase-Remote-Konfigurationsexperimente mit A/B-Tests

Wenn Sie Firebase Remote Config verwenden, um Einstellungen für eine Anwendung mit einer aktiven Benutzerbasis bereitzustellen, möchten Sie sicherstellen, dass Sie es richtig machen. Mithilfe von A/B-Testing-Experimenten können Sie Folgendes am besten ermitteln:

  • Der beste Weg, eine Funktion zu implementieren, um das Benutzererlebnis zu optimieren. Allzu oft erfahren App-Entwickler erst dann, dass ihre Benutzer eine neue Funktion oder ein aktualisiertes Benutzererlebnis nicht mögen, wenn die Bewertung ihrer App im App Store sinkt. Mithilfe von A/B-Tests können Sie messen, ob Ihre Benutzer neue Funktionsvarianten mögen oder ob sie die App in ihrer jetzigen Form bevorzugen. Wenn Sie die meisten Ihrer Benutzer in einer Baseline-Gruppe belassen, stellen Sie außerdem sicher, dass der Großteil Ihrer Benutzerbasis Ihre App bis zum Abschluss des Experiments weiterhin verwenden kann, ohne dass sich ihr Verhalten oder Erscheinungsbild ändert.
  • Der beste Weg, die Benutzererfahrung für ein Geschäftsziel zu optimieren. Manchmal implementieren Sie Produktänderungen, um eine Kennzahl wie Umsatz oder Kundenbindung zu maximieren. Mit A/B-Tests legen Sie Ihr Geschäftsziel fest und Firebase führt die statistische Analyse durch, um festzustellen, ob eine Variante die Basislinie für Ihr ausgewähltes Ziel übertrifft.

Gehen Sie wie folgt vor, um Funktionsvarianten mit einer Baseline A/B-Tests durchzuführen:

  1. Erstellen Sie Ihr Experiment.
  2. Validieren Sie Ihr Experiment auf einem Testgerät.
  3. Verwalten Sie Ihr Experiment.

Erstellen Sie ein Experiment

Mit einem Remote Config-Experiment können Sie mehrere Varianten eines oder mehrerer Remote Config-Parameter bewerten.

  1. Melden Sie sich bei der Firebase-Konsole an und stellen Sie sicher, dass Google Analytics in Ihrem Projekt aktiviert ist, damit das Experiment Zugriff auf Analytics-Daten hat.

    Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie es auf der Registerkarte „Integrationen“ aktivieren, auf die Sie über > Projekteinstellungen in der Firebase-Konsole zugreifen können.

  2. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .

  3. Klicken Sie auf Experiment erstellen und wählen Sie dann Remote-Konfiguration aus, wenn Sie nach dem Dienst gefragt werden, mit dem Sie experimentieren möchten.

  4. Geben Sie einen Namen und optional eine Beschreibung für Ihr Experiment ein und klicken Sie auf Weiter .

  5. Füllen Sie die Targeting- Felder aus und wählen Sie zunächst die App aus, die Ihr Experiment verwendet. Sie können auch eine Teilmenge Ihrer Benutzer gezielt zur Teilnahme an Ihrem Experiment ansprechen, indem Sie auf und klicken und dann Optionen aus der folgenden Liste auswählen:

    • Version: Eine oder mehrere Versionen Ihrer App
    • Build-Nummer: Der Versionscode der App
    • Sprachen: Eine oder mehrere Sprachen und Gebietsschemas, die zur Auswahl von Benutzern verwendet werden, die in das Experiment einbezogen werden könnten
    • Land/Region: Ein oder mehrere Länder oder Regionen zur Auswahl von Benutzern, die in das Experiment einbezogen werden sollen
    • Benutzerzielgruppe: Analytics-Zielgruppen, die zur gezielten Ausrichtung auf Benutzer verwendet werden, die möglicherweise in das Experiment einbezogen werden
    • Benutzereigenschaft: Eine oder mehrere Analytics-Benutzereigenschaften zur Auswahl von Benutzern, die in das Experiment einbezogen werden könnten
    • Erstes Öffnen: Sprechen Sie Nutzer basierend auf dem Zeitpunkt an, zu dem sie Ihre App zum ersten Mal geöffnet haben

      Das Nutzer-Targeting nach der ersten Öffnungszeit ist verfügbar, nachdem Sie eine Android- oder iOS-App ausgewählt haben. Es wird von den folgenden Remote Config SDK-Versionen unterstützt: Apple-Plattformen SDK v9.0.0+ und Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

      Beim ersten offenen Ereignis muss auch Analytics auf dem Client aktiviert worden sein.

  6. Legen Sie den Prozentsatz der Zielbenutzer fest: Geben Sie den Prozentsatz der Benutzerbasis Ihrer App ein, der den unter „Zielbenutzer“ festgelegten Kriterien entspricht und den Sie gleichmäßig zwischen der Basislinie und einer oder mehreren Varianten in Ihrem Experiment aufteilen möchten. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Die Benutzer werden jedem Experiment, einschließlich doppelter Experimente, nach dem Zufallsprinzip zugewiesen.

  7. Legen Sie optional ein Aktivierungsereignis fest, um sicherzustellen, dass in Ihrem Experiment nur die Daten von Benutzern gezählt werden, die zuerst ein Analytics-Ereignis ausgelöst haben. Beachten Sie, dass alle Benutzer, die Ihren Targeting-Parametern entsprechen, Remote Config-Testwerte erhalten, aber nur diejenigen, die ein Aktivierungsereignis auslösen, in Ihre Testergebnisse einbezogen werden.

    Um ein gültiges Experiment sicherzustellen, stellen Sie sicher, dass das von Ihnen ausgewählte Ereignis eintritt , nachdem Ihre App abgerufene Konfigurationswerte aktiviert hat. Darüber hinaus können die folgenden Ereignisse nicht verwendet werden, da sie immer auftreten, bevor abgerufene Werte aktiviert werden:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open
  8. Wählen Sie für die Ziele des Experiments die primäre Metrik aus, die Sie verfolgen möchten, und fügen Sie alle weiteren Metriken, die Sie verfolgen möchten, aus der Liste hinzu. Dazu gehören integrierte Ziele (Käufe, Umsatz, Bindung, absturzfreie Benutzer usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse. Wenn Sie fertig sind, klicken Sie auf Weiter .

  9. Wählen Sie im Abschnitt „Varianten“ eine Basislinie und mindestens eine Variante für das Experiment aus. Verwenden Sie die Liste „Auswählen oder neu erstellen“ , um einen oder mehrere Parameter zum Experimentieren hinzuzufügen. Sie können einen Parameter erstellen, der zuvor noch nicht in der Firebase-Konsole verwendet wurde. Er muss jedoch in Ihrer App vorhanden sein, damit er Auswirkungen hat. Sie können diesen Schritt wiederholen, um Ihrem Experiment mehrere Parameter hinzuzufügen.

  10. (optional) Um mehr als eine Variante zu Ihrem Experiment hinzuzufügen, klicken Sie auf „Weitere Variante hinzufügen“ .

  11. Ändern Sie einen oder mehrere Parameter für bestimmte Varianten. Alle unveränderten Parameter gelten auch für Benutzer, die nicht am Experiment beteiligt sind.

  12. Erweitern Sie Variantengewichte, um die Variantengewichtung für das Experiment anzuzeigen oder zu ändern. Standardmäßig wird jede Variante gleich gewichtet. Beachten Sie, dass ungleiche Gewichte die Datenerfassungszeit verlängern können und Gewichte nach Beginn des Experiments nicht mehr geändert werden können .

  13. Klicken Sie auf „Überprüfen“ , um Ihr Experiment zu speichern.

Pro Projekt sind bis zu 300 Experimente zulässig, die aus bis zu 24 laufenden Experimenten bestehen können, der Rest ist als Entwurf oder abgeschlossen.

Validieren Sie Ihr Experiment auf einem Testgerät

Für jede Firebase-Installation können Sie das damit verbundene Installationsauthentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Experimentvarianten auf einem Testgerät testen, auf dem Ihre App installiert ist. Gehen Sie wie folgt vor, um Ihr Experiment auf einem Testgerät zu validieren:

  1. Rufen Sie das Installations-Authentifizierungstoken wie folgt ab:

    Schnell

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Ziel c

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    val forceRefresh = true
    FirebaseInstallations.getInstance().getToken(forceRefresh)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
    

    Einheit

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
        }
      });
    
  2. Klicken Sie in der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  3. Klicken Sie auf Entwurf (und/oder Ausführen für Remote-Konfigurationsexperimente), bewegen Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( ) und klicken Sie dann auf Testgeräte verwalten .
  4. Geben Sie das Installationsauthentifizierungstoken für ein Testgerät ein und wählen Sie die Experimentvariante aus, die an dieses Testgerät gesendet werden soll.
  5. Führen Sie die App aus und bestätigen Sie, dass die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase-Installationen finden Sie unter Firebase-Installationen verwalten .

Verwalten Sie Ihr Experiment

Unabhängig davon, ob Sie ein Experiment mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie Ihr Experiment dann validieren und starten, Ihr Experiment während der Ausführung überwachen und die Anzahl der in Ihr laufendes Experiment einbezogenen Benutzer erhöhen.

Wenn Ihr Experiment abgeschlossen ist, können Sie sich die von der Gewinnervariante verwendeten Einstellungen notieren und diese Einstellungen dann für alle Benutzer bereitstellen. Oder Sie können ein weiteres Experiment durchführen.

Starten Sie ein Experiment

  1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Entwurf und dann auf den Titel Ihres Experiments.
  3. Um zu überprüfen, ob Ihre App Benutzer hat, die in Ihr Experiment einbezogen werden würden, erweitern Sie die Entwurfsdetails und prüfen Sie, ob im Abschnitt „Targeting und Verteilung“ eine Zahl größer als 0 % vorliegt (z. B. 1 % der Benutzer, die den Kriterien entsprechen ).
  4. Um Ihr Experiment zu ändern, klicken Sie auf Bearbeiten .
  5. Um Ihr Experiment zu starten, klicken Sie auf Experiment starten . Sie können bis zu 24 Experimente pro Projekt gleichzeitig durchführen.

Überwachen Sie ein Experiment

Sobald ein Experiment eine Weile läuft, können Sie seinen Fortschritt überprüfen und sehen, wie Ihre Ergebnisse für die Benutzer aussehen, die bisher an Ihrem Experiment teilgenommen haben.

  1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf „Läuft “ und dann auf den Titel Ihres Experiments oder suchen Sie danach. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Experiment anzeigen, darunter die folgenden:

    • % Differenz zum Ausgangswert : Ein Maß für die Verbesserung einer Metrik für eine bestimmte Variante im Vergleich zum Ausgangswert. Berechnet durch Vergleich des Wertebereichs für die Variante mit dem Wertebereich für die Basislinie.
    • Wahrscheinlichkeit, die Basislinie zu übertreffen : Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die Basislinie für die ausgewählte Metrik übertrifft.
    • observed_metric pro Benutzer : Basierend auf Experimentergebnissen ist dies der vorhergesagte Bereich, in den der Metrikwert im Laufe der Zeit fallen wird.
    • Gesamte observed_metric : Der beobachtete kumulative Wert für die Basislinie oder Variante. Der Wert wird verwendet, um zu messen, wie gut jede Experimentvariante abschneidet, und wird zur Berechnung von Verbesserung , Wertebereich , Wahrscheinlichkeit, die Grundlinie zu übertreffen und Wahrscheinlichkeit, die beste Variante zu sein , verwendet. Abhängig von der gemessenen Metrik kann diese Spalte mit „Dauer pro Benutzer“, „Umsatz pro Benutzer“, „Retentionsrate“ oder „Conversion-Rate“ beschriftet sein.
  3. Nachdem Ihr Experiment eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App-Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante (falls vorhanden) die „Spitzenreiterin“ ist. Einige Messungen werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.

Führen Sie ein Experiment für alle Benutzer durch

Nachdem ein Experiment lange genug gelaufen ist, sodass Sie eine „führende“ oder Gewinnervariante für Ihre Zielmetrik haben, können Sie das Experiment für 100 % der Benutzer freigeben. Auf diese Weise können Sie eine Variante auswählen, die künftig für alle Benutzer veröffentlicht werden soll. Auch wenn Ihr Experiment keinen klaren Gewinner hervorgebracht hat, können Sie dennoch eine Variante für alle Ihre Benutzer freigeben.

  1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf „Abgeschlossen“ oder „ Wird ausgeführt“ , klicken Sie auf ein Experiment, das Sie für alle Benutzer freigeben möchten, und klicken Sie auf das Kontextmenü ( ) . Variante ausrollen .
  3. Stellen Sie Ihr Experiment allen Benutzern zur Verfügung, indem Sie einen der folgenden Schritte ausführen:

    • Verwenden Sie für ein Experiment, das den Notifications Composer verwendet, das Dialogfeld „Nachricht ausrollen“ , um die Nachricht an die verbleibenden Zielbenutzer zu senden, die nicht Teil des Experiments waren.
    • Wählen Sie für ein Remote Config- Experiment eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Experiments definierten Targeting-Kriterien werden Ihrer Vorlage als neue Bedingung hinzugefügt, um sicherzustellen, dass sich die Einführung nur auf Benutzer auswirkt, auf die das Experiment abzielt. Nachdem Sie in Remote Config auf „Überprüfen“ geklickt haben, um die Änderungen zu überprüfen, klicken Sie auf „Änderungen veröffentlichen“ , um den Rollout abzuschließen.
    • Verwenden Sie für ein In-App-Messaging- Experiment das Dialogfeld, um zu bestimmen, welche Variante als eigenständige In-App-Messaging-Kampagne eingeführt werden muss. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, wo Sie (falls erforderlich) vor der Veröffentlichung Änderungen vornehmen können.

Erweitern Sie ein Experiment

Wenn Sie feststellen, dass ein Experiment nicht genügend Nutzer für A/B-Tests anzieht, um zum Spitzenreiter zu werden, können Sie die Verteilung Ihres Experiments erhöhen, um einen größeren Prozentsatz der Nutzerbasis der App zu erreichen.

  1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
  2. Wählen Sie das laufende Experiment aus, das Sie bearbeiten möchten.
  3. Klicken Sie in der Experimentübersicht auf das Kontextmenü ( ) und dann auf Laufendes Experiment bearbeiten .
  4. Im Dialogfeld „Targeting“ wird eine Option angezeigt, mit der Sie den Prozentsatz der Benutzer erhöhen können, die am laufenden Experiment teilnehmen. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf „Veröffentlichen“ . Das Experiment wird an den von Ihnen angegebenen Prozentsatz der Benutzer verteilt.

Experiment duplizieren oder stoppen

  1. Klicken Sie im Abschnitt „Engage“ des Navigationsmenüs der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , halten Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( ) und klicken Sie dann auf Experiment duplizieren oder Experiment stoppen .

Benutzer-Targeting

Mithilfe der folgenden Kriterien für die Nutzerausrichtung können Sie gezielt auf die Nutzer abzielen, die Sie in Ihr Experiment einbeziehen möchten.

Targeting-Kriterium Betreiber Werte) Notiz
Ausführung enthält,
beinhaltet nicht,
passt genau,
enthält Regex
Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in das Experiment einbeziehen möchten.

Wenn Sie einen der Operatoren „ enthält“ , „enthält nicht“ oder „ trifft genau überein“ verwenden, können Sie eine durch Kommas getrennte Liste von Werten bereitstellen.

Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.

Benutzerzielgruppe(n) umfasst alles,
umfasst mindestens eines von:
umfasst nicht alles,
enthält nicht mindestens eines davon
Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihr Experiment einbezogen werden. Bei einigen Experimenten, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis die Daten erfasst sind, da sie der Latenz der Analytics-Datenverarbeitung unterliegen. Diese Verzögerung tritt am wahrscheinlichsten bei neuen Benutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in qualifizierte Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen .

Für Remote Config bedeutet dies, dass, selbst wenn ein Benutzer technisch für eine Zielgruppe qualifiziert ist, der Benutzer nicht in das Experiment einbezogen wird, wenn Analytics den Benutzer bei der Ausführung von „fetchAndActivate()“ noch nicht zur Zielgruppe hinzugefügt hat.

Benutzereigenschaft Für Text:
enthält,
beinhaltet nicht,
passt genau,
enthält Regex

Für Zahlen:
<, ≤, =, ≥, >
Eine Analytics-Benutzereigenschaft wird verwendet, um Benutzer auszuwählen, die in ein Experiment einbezogen werden könnten, mit einer Reihe von Optionen zum Auswählen von Benutzereigenschaftswerten.

Auf dem Client können Sie nur Zeichenfolgenwerte für Benutzereigenschaften festlegen. Für Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Benutzereigenschaft in einen Integer/Float-Wert.
Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.
Land/Region N / A Ein oder mehrere Länder oder Regionen werden zur Auswahl von Benutzern verwendet, die in das Experiment einbezogen werden könnten.
Sprachen N / A Eine oder mehrere Sprachen und Gebietsschemas, die zur Auswahl von Benutzern verwendet werden, die in das Experiment einbezogen werden könnten.
Zuerst öffnen Vor
Nach

Sprechen Sie Nutzer gezielt an, wenn sie Ihre App zum ersten Mal öffnen:

  • Wählen Sie „Neue Benutzer“ aus, um Benutzer anzusprechen, die Ihre App nach einem bestimmten Datum und einer bestimmten Uhrzeit in der Zukunft zum ersten Mal öffnen.
  • Wählen Sie „Zeitraum“ aus, um Nutzer anzusprechen, die Ihre App zum ersten Mal innerhalb des Zeitraums vor oder nach dem von Ihnen angegebenen Datum und der angegebenen Uhrzeit öffnen. Kombinieren Sie Vorher- und Nachher- Bedingungen, um Benutzer innerhalb eines bestimmten Zeitraums anzusprechen.

Das Nutzer-Targeting nach dem ersten Öffnen ist verfügbar, nachdem Sie eine Android- oder iOS-App ausgewählt haben. Es wird derzeit von den folgenden Remote Config SDK-Versionen unterstützt: Apple-Plattformen SDK v9.0.0+ und Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

Beim ersten offenen Ereignis muss auch Analytics auf dem Client aktiviert worden sein.

A/B-Testmetriken

Wenn Sie Ihr Experiment erstellen, wählen Sie eine primäre oder Zielmetrik aus, die zur Bestimmung der Gewinnervariante verwendet wird. Sie sollten auch andere Messwerte verfolgen, um die Leistung jeder Experimentvariante besser zu verstehen und wichtige Trends zu verfolgen, die für jede Variante unterschiedlich sein können, wie z. B. Benutzerbindung, App-Stabilität und In-App-Kaufumsatz. Sie können in Ihrem Experiment bis zu fünf nicht zielgerichtete Messwerte verfolgen.

Angenommen, Sie verwenden Remote Config, um zwei verschiedene Spielabläufe in Ihrer App zu starten und möchten die In-App-Käufe und Werbeeinnahmen optimieren, möchten aber auch die Stabilität und Benutzerbindung jeder Variante verfolgen. In diesem Fall könnten Sie erwägen, „Geschätzter Gesamtumsatz“ als Ihre Zielmetrik auszuwählen, da diese Einnahmen aus In-App-Käufen und Werbeeinnahmen umfasst. Anschließend könnten Sie unter „Andere zu verfolgende Metriken“ Folgendes hinzufügen:

  • Um Ihre tägliche und wöchentliche Benutzerbindung zu verfolgen, fügen Sie „Retention (2–3 Tage)“ und „Retention (4–7 Tage)“ hinzu.
  • Um die Stabilität zwischen den beiden Spielabläufen zu vergleichen, fügen Sie Absturzfreie Benutzer hinzu.
  • Um detailliertere Ansichten der einzelnen Umsatzarten anzuzeigen, fügen Sie „Kaufumsatz“ und „Geschätzter Werbeumsatz“ hinzu.

Die folgenden Tabellen enthalten Details zur Berechnung von Zielmetriken und anderen Metriken.

Zielmetriken

Metrisch Beschreibung
Absturzfreie Benutzer Der Prozentsatz der Benutzer, bei denen in Ihrer App keine Fehler aufgetreten sind, die vom Firebase Crashlytics SDK während des Experiments erkannt wurden.
Geschätzte Werbeeinnahmen Geschätzte Werbeeinnahmen.
Geschätzter Gesamtumsatz Kombinierter Kaufwert und geschätzte Werbeeinnahmen.
Kauferlös Kombinierter Wert für alle purchase und in_app_purchase Ereignisse.
Aufbewahrung (1 Tag) Die Anzahl der Benutzer, die täglich zu Ihrer App zurückkehren.
Aufbewahrung (2-3 Tage) Die Anzahl der Benutzer, die innerhalb von 2–3 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (4–7 Tage) Die Anzahl der Benutzer, die innerhalb von 4–7 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (8–14 Tage) Die Anzahl der Benutzer, die innerhalb von 8–14 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (15+ Tage) Die Anzahl der Benutzer, die 15 oder mehr Tage nach ihrer letzten Nutzung zu Ihrer App zurückkehren.
first_open Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Benutzer eine App nach der Installation oder Neuinstallation zum ersten Mal öffnet. Wird als Teil eines Conversion-Trichters verwendet.

Andere Kennzahlen

Metrisch Beschreibung
notification_dismiss Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung verworfen wird (nur Android).
benachrichtigung_empfangen Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung empfangen wird, während die App im Hintergrund läuft (nur Android).
os_update Ein Analytics-Ereignis, das nachverfolgt, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .
screen_view Ein Analytics-Ereignis, das die in Ihrer App angezeigten Bildschirme verfolgt. Weitere Informationen finden Sie unter Bildschirmaufrufe verfolgen .
session_start Ein Analytics-Ereignis, das Benutzersitzungen in Ihrer App zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .

BigQuery-Datenexport

Sie können in BigQuery auf alle Analysedaten im Zusammenhang mit Ihren A/B-Tests zugreifen. Mit BigQuery können Sie die Daten mit BigQuery SQL analysieren, sie zu einem anderen Cloud-Anbieter exportieren oder die Daten für Ihre benutzerdefinierten ML-Modelle verwenden. Weitere Informationen finden Sie unter BigQuery mit Firebase verknüpfen .

Um den BigQuery-Datenexport optimal nutzen zu können, sollten Firebase-Projekte den „Blaze“-Preisplan mit nutzungsbasierter Bezahlung übernehmen. BigQuery erhebt Gebühren für das Speichern von Daten, das Streamen von Einfügungen und das Abfragen von Daten. Das Laden und Exportieren von Daten ist kostenlos. Weitere Informationen finden Sie unter BigQuery-Preise oder in der BigQuery-Sandbox .

Stellen Sie zunächst sicher, dass Ihr Firebase-Projekt mit BigQuery verknüpft ist. Wählen Sie im linken Navigationsmenü Einstellungen > Projekteinstellungen und dann Integrationen > BigQuery > Link aus. Auf dieser Seite werden Optionen zum Exportieren von BiqQuery-Analysedaten für alle Apps im Projekt angezeigt.

So fragen Sie Analysedaten für ein Experiment ab:

  1. Wählen Sie aus Ihrer aktiven Experimentliste das Experiment aus, um die Seite mit den Experimentergebnissen zu öffnen.
  2. Wählen Sie im Kontextmenü im Bereich „Experimentübersicht “ die Option „Experimentdaten abfragen“ aus (diese Option ist für Projekte im kostenlosen Tarif nicht verfügbar).

    Dadurch wird der Query Composer der BigQuery-Konsole mit einer automatisch generierten Beispielabfrage von Experimentdaten geöffnet, die für Ihre Überprüfung vorinstalliert ist. In dieser Abfrage wird Ihr Experiment als Benutzereigenschaft mit dem Experimentnamen im Schlüssel und der Experimentvariante im Wert codiert.

  3. Wählen Sie im Abfrage-Composer die Option Abfrage ausführen aus. Die Ergebnisse werden im unteren Bereich angezeigt.

Beachten Sie, dass die auf der Experimentseite verfügbaren Daten möglicherweise aktueller sind als die in der BigQuery-Konsole verfügbaren Daten, da Firebase-Daten in BigQuery nur einmal täglich aktualisiert werden.