Firebase is back at Google I/O on May 10! Register now

Erstellen Sie Firebase Remote Config-Experimente mit A/B-Tests

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Wenn Sie Firebase Remote Config verwenden, um Einstellungen für eine Anwendung mit einer aktiven Benutzerbasis bereitzustellen, möchten Sie sicherstellen, dass Sie alles richtig machen. Sie können A/B-Test-Experimente verwenden, um Folgendes am besten zu ermitteln:

  • Der beste Weg, um eine Funktion zu implementieren, um die Benutzererfahrung zu optimieren. Zu oft erfahren App-Entwickler nicht, dass ihre Benutzer eine neue Funktion oder eine aktualisierte Benutzererfahrung nicht mögen, bis die Bewertung ihrer App im App Store abnimmt. Mithilfe von A/B-Tests können Sie messen, ob Ihre Benutzer neue Funktionsvarianten mögen oder ob sie die App in ihrer aktuellen Form bevorzugen. Wenn Sie die meisten Ihrer Benutzer in einer Baseline-Gruppe halten, stellen Sie außerdem sicher, dass der Großteil Ihrer Benutzerbasis Ihre App weiterhin verwenden kann, ohne dass Änderungen an ihrem Verhalten oder Aussehen auftreten, bis das Experiment abgeschlossen ist.
  • Der beste Weg, um die Benutzererfahrung für ein Geschäftsziel zu optimieren. Manchmal implementieren Sie Produktänderungen, um eine Metrik wie Umsatz oder Kundenbindung zu maximieren. Mit A/B-Tests legen Sie Ihr Geschäftsziel fest und Firebase führt die statistische Analyse durch, um festzustellen, ob eine Variante die Baseline für Ihr ausgewähltes Ziel übertrifft.

Gehen Sie wie folgt vor, um Funktionsvarianten mit einer Baseline zu testen:

  1. Erstellen Sie Ihr Experiment.
  2. Validieren Sie Ihr Experiment auf einem Testgerät.
  3. Verwalten Sie Ihr Experiment.

Erstellen Sie ein Experiment

Mit einem Remote Config-Experiment können Sie mehrere Varianten eines oder mehrerer Remote Config-Parameter evaluieren.

  1. Melden Sie sich bei der Firebase-Konsole an und vergewissern Sie sich, dass Google Analytics in Ihrem Projekt aktiviert ist, damit das Experiment Zugriff auf Analytics-Daten hat.

    Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie es auf der Registerkarte Integrationen aktivieren, auf die Sie über > Projekteinstellungen in der Firebase-Konsole zugreifen können.

  2. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .

  3. Klicken Sie auf Experiment erstellen und wählen Sie dann Remote-Konfiguration aus, wenn Sie nach dem Dienst gefragt werden, mit dem Sie experimentieren möchten.

  4. Geben Sie einen Namen und eine optionale Beschreibung für Ihr Experiment ein und klicken Sie auf Weiter .

  5. Füllen Sie die Targeting- Felder aus und wählen Sie zuerst die App aus, die Ihren Test verwendet. Sie können auch eine Teilmenge Ihrer Benutzer zur Teilnahme an Ihrem Experiment ansprechen, indem Sie auf und klicken und dann Optionen aus der folgenden Liste auswählen:

    • Version: Eine oder mehrere Versionen Ihrer App
    • Build-Nummer: Der Versionscode der App
    • Sprachen: Eine oder mehrere Sprachen und Gebietsschemata, die verwendet werden, um Benutzer auszuwählen, die möglicherweise in den Test aufgenommen werden
    • Land/Region: Ein oder mehrere Länder oder Regionen zur Auswahl von Benutzern, die in den Test einbezogen werden sollen
    • Benutzerzielgruppe: Analytics-Zielgruppen, die verwendet werden, um Benutzer anzusprechen, die möglicherweise in den Test einbezogen werden
    • Benutzereigenschaft: Eine oder mehrere Analytics-Benutzereigenschaften zum Auswählen von Benutzern, die möglicherweise in den Test aufgenommen werden

    • Erstes Öffnen: Richten Sie Benutzer basierend darauf aus, wann sie Ihre App zum ersten Mal geöffnet haben

      Das Benutzer-Targeting nach Erstöffnungszeit ist verfügbar, nachdem Sie eine Android- oder iOS-App ausgewählt haben. Es wird derzeit von den folgenden Remote Config SDK-Versionen unterstützt: Apple-Plattformen SDK v9.0.0+ und Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

      Analytics muss auch während des ersten offenen Ereignisses auf dem Client aktiviert worden sein.

  6. Legen Sie den Prozentsatz der Zielbenutzer fest: Geben Sie den Prozentsatz der Benutzerbasis Ihrer App ein, der die unter Zielbenutzer festgelegten Kriterien erfüllt, die Sie in Ihrem Test gleichmäßig zwischen der Baseline und einer oder mehreren Varianten aufteilen möchten. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Benutzer werden jedem Experiment nach dem Zufallsprinzip zugewiesen, einschließlich doppelter Experimente.

  7. Legen Sie optional ein Aktivierungsereignis fest, um sicherzustellen, dass nur die Daten von Benutzern, die zuerst ein Analytics-Ereignis ausgelöst haben, in Ihrem Experiment gezählt werden. Beachten Sie, dass alle Benutzer, die Ihren Targeting-Parametern entsprechen, Testwerte von Remote Config erhalten, aber nur diejenigen, die ein Aktivierungsereignis auslösen, in Ihre Testergebnisse aufgenommen werden.

    Stellen Sie zur Gewährleistung eines gültigen Experiments sicher, dass das von Ihnen ausgewählte Ereignis eintritt , nachdem Ihre App abgerufene Konfigurationswerte aktiviert hat. Darüber hinaus können die folgenden Ereignisse nicht verwendet werden, da sie immer auftreten, bevor abgerufene Werte aktiviert werden:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open

  8. Wählen Sie für die Ziele des Experiments die zu verfolgende primäre Metrik aus und fügen Sie alle gewünschten zusätzlichen Metriken aus der Dropdown-Liste hinzu. Dazu gehören integrierte Ziele (Käufe, Umsatz, Kundenbindung, absturzfreie Benutzer usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse. Wenn Sie fertig sind, klicken Sie auf Weiter .

  9. Im Abschnitt Varianten wählen Sie eine Baseline und mindestens eine Variante für das Experiment aus. Verwenden Sie die Liste Auswählen oder neu erstellen , um einen oder mehrere Parameter zum Experimentieren hinzuzufügen. Sie können einen Parameter erstellen, der zuvor nicht in der Firebase-Konsole verwendet wurde, aber er muss in Ihrer App vorhanden sein, damit er Auswirkungen hat. Sie können diesen Schritt wiederholen, um Ihrem Experiment mehrere Parameter hinzuzufügen.

  10. (optional) Um mehr als eine Variante zu Ihrem Test hinzuzufügen, klicken Sie auf Weitere Variante hinzufügen .

  11. Ändern Sie einen oder mehrere Parameter für bestimmte Varianten. Alle unveränderten Parameter sind für Nutzer, die nicht am Test teilnehmen, gleich.

  12. Erweitern Sie Variantengewichte, um das Variantengewicht für den Test anzuzeigen oder zu ändern. Standardmäßig wird jede Variante gleich gewichtet. Beachten Sie, dass ungleiche Gewichte die Datenerfassungszeit verlängern können und die Gewichte nach Beginn des Experiments nicht mehr geändert werden können .

  13. Klicken Sie auf Überprüfen , um Ihr Experiment zu speichern.

Pro Projekt sind bis zu 300 Experimente zulässig, die aus bis zu 24 laufenden Experimenten bestehen können, der Rest als Entwurf oder abgeschlossen.

Validieren Sie Ihr Experiment auf einem Testgerät

Für jede Firebase-Installation können Sie das zugehörige Installations-Authentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Experimentvarianten auf einem Testgerät mit installierter App testen. Gehen Sie wie folgt vor, um Ihr Experiment auf einem Testgerät zu validieren:

  1. Rufen Sie das Installations-Authentifizierungstoken wie folgt ab:

    Schnell

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
  if let error = error {
    print("Error fetching token: \(error)")
    return
  }
  guard let result = result else { return }
  print("Installation auth token: \(result.authToken)")
})

    Ziel c

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt

    C++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    Einheit

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
    }
  });
  2. Klicken Sie in der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  3. Klicken Sie auf Entwurf (und/oder Wird für Experimente zur Remote-Konfiguration ausgeführt), bewegen Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( ) und dann auf Testgeräte verwalten .
  4. Geben Sie das Installations-Authentifizierungstoken für ein Testgerät ein und wählen Sie die Versuchsvariante aus, die an dieses Testgerät gesendet werden soll.
  5. Führen Sie die App aus und bestätigen Sie, dass die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase-Installationen finden Sie unter Verwalten von Firebase-Installationen .

Verwalten Sie Ihr Experiment

Unabhängig davon, ob Sie ein Experiment mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie Ihr Experiment anschließend validieren und starten, Ihr Experiment überwachen, während es ausgeführt wird, und die Anzahl der Benutzer erhöhen, die in Ihrem laufenden Experiment enthalten sind.

Wenn Ihr Experiment abgeschlossen ist, können Sie die von der Gewinnervariante verwendeten Einstellungen notieren und diese Einstellungen dann für alle Benutzer bereitstellen. Oder Sie können ein anderes Experiment durchführen.

Starten Sie ein Experiment

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Entwurf und dann auf den Titel Ihres Experiments.
  3. Um zu überprüfen, ob Ihre App Nutzer hat, die in Ihren Test einbezogen werden würden, erweitern Sie die Entwurfsdetails und suchen Sie im Abschnitt „Ausrichtung und Verteilung“ nach einer Zahl größer als 0 % (z. B. 1 % der Nutzer, die die Kriterien erfüllen ).
  4. Um Ihren Test zu ändern, klicken Sie auf Bearbeiten .
  5. Um Ihr Experiment zu starten, klicken Sie auf Experiment starten . Sie können bis zu 24 Experimente pro Projekt gleichzeitig ausführen.

Überwachen Sie ein Experiment

Wenn ein Experiment eine Weile läuft, können Sie seinen Fortschritt überprüfen und sehen, wie Ihre Ergebnisse für die Benutzer aussehen, die bisher an Ihrem Experiment teilgenommen haben.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .

  2. Klicken Sie auf Running , und klicken Sie dann auf oder suchen Sie nach dem Titel Ihres Experiments. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Experiment anzeigen, einschließlich der folgenden:

    • % Unterschied vom Ausgangswert : Ein Maß für die Verbesserung einer Metrik für eine bestimmte Variante im Vergleich zum Ausgangswert. Wird berechnet, indem der Wertebereich für die Variante mit dem Wertebereich für die Baseline verglichen wird.
    • Wahrscheinlichkeit, die Baseline zu übertreffen : Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die Baseline für die ausgewählte Metrik übertrifft.
    • observed_metric pro Benutzer : Basierend auf den Testergebnissen ist dies der vorhergesagte Bereich, in den der Metrikwert im Laufe der Zeit fallen wird.
    • Total observed_metric : Der beobachtete kumulative Wert für die Baseline oder Variante. Der Wert wird verwendet, um zu messen, wie gut jede Testvariante abschneidet, und wird verwendet, um Verbesserung , Wertebereich , Wahrscheinlichkeit, den Ausgangswert zu übertreffen , und Wahrscheinlichkeit, die beste Variante zu sein , zu berechnen . Abhängig von der gemessenen Metrik kann diese Spalte mit „Dauer pro Benutzer“, „Umsatz pro Benutzer“, „Aufbewahrungsrate“ oder „Conversion-Rate“ bezeichnet sein.

  3. Nachdem Ihr Experiment eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App-Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante, falls vorhanden, der „Leader“ ist. Einige Messungen werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.

Führen Sie ein Experiment für alle Benutzer durch

Nachdem ein Experiment lange genug gelaufen ist, sodass Sie eine „Leader“- oder Gewinnervariante für Ihren Zielmesswert haben, können Sie das Experiment für 100 % der Nutzer einführen. Auf diese Weise können Sie eine Variante auswählen, die in Zukunft für alle Benutzer veröffentlicht werden soll. Auch wenn Ihr Test keinen klaren Gewinner hervorgebracht hat, können Sie dennoch eine Variante für alle Ihre Benutzer bereitstellen.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , klicken Sie auf ein Experiment, das Sie allen Benutzern zur Verfügung stellen möchten, klicken Sie auf das Kontextmenü ( ) und dann auf Variante einführen .

  3. Führen Sie Ihren Test für alle Benutzer aus, indem Sie einen der folgenden Schritte ausführen:

    • Verwenden Sie für ein Experiment, das den Benachrichtigungs-Composer verwendet, das Dialogfeld Rollout-Nachricht , um die Nachricht an die verbleibenden Zielbenutzer zu senden, die nicht am Experiment teilgenommen haben.
    • Wählen Sie für ein Remote Config- Experiment eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Experiments definierten Targeting-Kriterien werden Ihrer Vorlage als neue Bedingung hinzugefügt, um sicherzustellen, dass die Einführung nur Nutzer betrifft, auf die das Experiment abzielt. Nachdem Sie in Remote Config auf Review geklickt haben, um die Änderungen zu überprüfen, klicken Sie auf Änderungen veröffentlichen , um die Einführung abzuschließen.
    • Verwenden Sie für ein In-App-Messaging- Experiment das Dialogfeld, um zu bestimmen, welche Variante als eigenständige In-App-Messaging-Kampagne eingeführt werden muss. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, um vor der Veröffentlichung Änderungen (falls erforderlich) vorzunehmen.

Erweitern Sie ein Experiment

Wenn Sie feststellen, dass ein Test nicht genügend Benutzer für A/B-Tests anzieht, um einen führenden Anbieter zu erklären, können Sie die Verbreitung Ihres Tests erhöhen, um einen größeren Prozentsatz der Benutzerbasis der App zu erreichen.

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Wählen Sie den laufenden Test aus, den Sie bearbeiten möchten.
  3. Klicken Sie in der Experimentübersicht auf das Kontextmenü ( ) und dann auf Laufendes Experiment bearbeiten .
  4. Das Dialogfeld "Targeting" zeigt eine Option zum Erhöhen des Prozentsatzes der Benutzer an, die sich im derzeit ausgeführten Test befinden. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf „Veröffentlichen“ . Der Test wird auf den von Ihnen angegebenen Prozentsatz von Benutzern übertragen.

Experiment duplizieren oder beenden

  1. Klicken Sie im Abschnitt „Engagement“ der Navigationsleiste der Firebase-Konsole auf A/B-Tests .
  2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt , bewegen Sie den Mauszeiger über Ihr Experiment, klicken Sie auf das Kontextmenü ( ) und klicken Sie dann auf Experiment duplizieren oder Experiment beenden .

Benutzer-Targeting

Sie können die Nutzer, die Sie in Ihren Test aufnehmen möchten, anhand der folgenden Nutzer-Targeting-Kriterien ansprechen.

Targeting-Kriterium Betreiber Werte) Notiz
Ausführung enthält,
beinhaltet nicht,
passt genau,
enthält Regex		 Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in den Test einbeziehen möchten.

Wenn Sie einen der Operatoren enthält , enthält nicht oder stimmt genau überein , können Sie eine durch Kommas getrennte Liste von Werten angeben.

Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.

Benutzerzielgruppe(n) beinhaltet alle,
enthält mindestens eines von
beinhaltet nicht alles,
enthält nicht mindestens eines von		 Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihren Test einbezogen werden. Bei einigen Tests, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis Daten gesammelt werden, da sie der Datenverarbeitungslatenz von Analytics unterliegen . Diese Verzögerung tritt am wahrscheinlichsten bei neuen Nutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in qualifizierte Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen .

Für Remote Config bedeutet dies, dass, selbst wenn ein Benutzer technisch für eine Zielgruppe qualifiziert ist, der Benutzer nicht in den Test aufgenommen wird, wenn Analytics den Benutzer noch nicht zur Zielgruppe hinzugefügt hat, wenn "fetchAndActivate()" ausgeführt wird.

Benutzereigenschaft Für Texte:
enthält,
beinhaltet nicht,
passt genau,
enthält Regex

Für Zahlen:
<, ≤, =, ≥, >		 Eine Analytics-Benutzereigenschaft wird verwendet, um Benutzer auszuwählen, die in einen Test einbezogen werden könnten, mit einer Reihe von Optionen zum Auswählen von Benutzereigenschaftswerten.

Auf dem Client können Sie nur Zeichenfolgenwerte für Benutzereigenschaften festlegen. Für Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Benutzereigenschaft in eine Ganzzahl/Float.		 Wenn Sie den Regex-Operator enthält , können Sie reguläre Ausdrücke im RE2- Format erstellen. Ihr regulärer Ausdruck kann mit der Zielversionszeichenfolge ganz oder teilweise übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit einer Zielzeichenfolge abzugleichen.
Land/Region N / A Ein oder mehrere Länder oder Regionen, die verwendet werden, um Nutzer auszuwählen, die in den Test einbezogen werden könnten.
Sprachen N / A Eine oder mehrere Sprachen und Gebietsschemata, die verwendet werden, um Benutzer auszuwählen, die möglicherweise in den Test aufgenommen werden.
Zuerst öffnen Vor
Nach

Targeting von Benutzern basierend auf dem ersten Öffnen Ihrer App:

  • Wählen Sie Neue Benutzer aus, um Benutzer anzusprechen, die Ihre App zum ersten Mal nach einem bestimmten Datum und einer bestimmten Uhrzeit in der Zukunft öffnen.
  • Wählen Sie Zeitraum aus, um Nutzer anzusprechen, die Ihre App zum ersten Mal innerhalb des Zeitraums vor oder nach dem von Ihnen angegebenen Datum und der angegebenen Uhrzeit öffnen. Kombinieren Sie Vorher- und Nachher- Bedingungen, um Benutzer innerhalb eines bestimmten Zeitraums anzusprechen.

Das Benutzer-Targeting nach erstem Öffnen ist verfügbar, nachdem Sie eine Android- oder iOS-App ausgewählt haben. Es wird derzeit von den folgenden Remote Config SDK-Versionen unterstützt: Apple-Plattformen SDK v9.0.0+ und Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

Analytics muss auch während des ersten offenen Ereignisses auf dem Client aktiviert worden sein.

A/B-Test-Metriken

Wenn Sie Ihr Experiment erstellen, wählen Sie einen primären oder Zielmesswert aus, der verwendet wird, um die erfolgreiche Variante zu bestimmen. Sie sollten auch andere Messwerte verfolgen, um die Leistung jeder Testvariante besser zu verstehen und wichtige Trends zu verfolgen, die sich für jede Variante unterscheiden können, wie z. B. Nutzerbindung, App-Stabilität und Umsatz aus In-App-Käufen. Sie können in Ihrem Test bis zu fünf Nicht-Zielmesswerte verfolgen.

Angenommen, Sie verwenden Remote Config, um zwei verschiedene Spielabläufe in Ihrer App zu starten, und möchten In-App-Käufe und Werbeeinnahmen optimieren, aber Sie möchten auch die Stabilität und Benutzerbindung jeder Variante verfolgen. In diesem Fall könnten Sie in Betracht ziehen, „Geschätzter Gesamtumsatz“ als Ihren Zielmesswert auszuwählen, da dieser den Umsatz aus In-App-Käufen und Werbeeinnahmen umfasst, und dann für „Andere zu verfolgende Messwerte“ Folgendes hinzufügen:

  • Um Ihre tägliche und wöchentliche Benutzerbindung zu verfolgen, fügen Sie Aufbewahrung (2-3 Tage) und Aufbewahrung (4-7 Tage) hinzu.
  • Um die Stabilität zwischen den beiden Spielabläufen zu vergleichen, fügen Sie Absturzfreie Benutzer hinzu.
  • Um detailliertere Ansichten der einzelnen Umsatztypen anzuzeigen, fügen Sie Kaufumsatz und Geschätzter Werbeumsatz hinzu.

Die folgenden Tabellen enthalten Details dazu, wie Zielmetriken und andere Metriken berechnet werden.

Zielkennzahlen

Metrisch Beschreibung
Absturzfreie Benutzer Der Prozentsatz der Nutzer, die keine Fehler in Ihrer App festgestellt haben, die während des Tests vom Firebase Crashlytics SDK erkannt wurden.
Geschätzter Werbeumsatz Geschätzte Werbeeinnahmen.
Geschätzter Gesamtumsatz Kombinierter Wert für Kauf und geschätzte Werbeeinnahmen.
Kaufeinnahmen Kombinierter Wert für alle purchase und in_app_purchase Ereignisse.
Aufbewahrung (1 Tag) Die Anzahl der Benutzer, die täglich zu Ihrer App zurückkehren.
Aufbewahrung (2-3 Tage) Die Anzahl der Nutzer, die innerhalb von zwei bis drei Tagen zu Ihrer App zurückkehren.
Aufbewahrung (4-7 Tage) Die Anzahl der Nutzer, die innerhalb von 4–7 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (8-14 Tage) Die Anzahl der Nutzer, die innerhalb von 8–14 Tagen zu Ihrer App zurückkehren.
Aufbewahrung (15+ Tage) Die Anzahl der Nutzer, die 15 oder mehr Tage nach der letzten Verwendung zu Ihrer App zurückkehren.
first_open Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Benutzer eine App nach der Installation oder Neuinstallation zum ersten Mal öffnet. Wird als Teil eines Conversion-Funnels verwendet.

Andere Metriken

Metrisch Beschreibung
Benachrichtigung_entlassen Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Benachrichtigungs-Composer gesendete Benachrichtigung verworfen wird (nur Android).
Benachrichtigung_empfangen Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Benachrichtigungs-Composer gesendete Benachrichtigung empfangen wird, während sich die App im Hintergrund befindet (nur Android).
os_update Ein Analytics-Ereignis, das nachverfolgt, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .
Bildschirmansicht Ein Analytics-Ereignis, das die in Ihrer App angezeigten Bildschirme nachverfolgt. Weitere Informationen finden Sie unter Screenviews verfolgen .
session_start Ein Analytics-Ereignis, das Benutzersitzungen in Ihrer App zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse .

BigQuery-Datenexport

Sie können auf alle Analysedaten zu Ihren A/B-Tests in BigQuery zugreifen. Mit BigQuery können Sie die Daten mit BigQuery SQL analysieren, sie zu einem anderen Cloud-Anbieter exportieren oder die Daten für Ihre benutzerdefinierten ML-Modelle verwenden. Weitere Informationen finden Sie unter BigQuery mit Firebase verknüpfen .

Um die Vorteile des BigQuery-Datenexports voll auszuschöpfen, sollten Firebase-Projekte den „Blaze“-Pay-as-you-go-Preisplan übernehmen. BigQuery berechnet Gebühren für das Speichern von Daten, das Streamen von Einfügungen und das Abfragen von Daten. Das Laden und Exportieren von Daten ist kostenlos. Weitere Informationen finden Sie unter BigQuery-Preise oder in der BigQuery-Sandbox .

Stellen Sie zunächst sicher, dass Ihr Firebase-Projekt mit BigQuery verknüpft ist. Wählen Sie in der linken Navigationsleiste Einstellungen > Projekteinstellungen und dann Integrationen > BigQuery > Link aus. Auf dieser Seite werden Optionen zum Exportieren von BiqQuery-Analysedaten für alle Apps im Projekt angezeigt.

So fragen Sie Analysedaten für ein Experiment ab:

  1. Wählen Sie aus der Liste der aktiven Tests den gewünschten Test aus, um die Seite mit den Testergebnissen zu öffnen.

  2. Wählen Sie im Kontextmenü im Bereich „Experimentübersicht“ die Option „Experimentdaten abfragen“ aus (diese Option ist für Projekte auf der kostenlosen Ebene nicht verfügbar) .

    Dadurch wird der Abfrage-Composer der BigQuery-Konsole mit einer automatisch generierten Beispielabfrage von Testdaten geöffnet, die zur Überprüfung vorab geladen sind. In dieser Abfrage wird Ihr Experiment als Benutzereigenschaft mit dem Experimentnamen im Schlüssel und der Experimentvariante im Wert codiert.

  3. Wählen Sie im Abfrage-Composer Abfrage ausführen aus. Die Ergebnisse werden im unteren Bereich angezeigt.

Da Firebase-Daten in BigQuery nur einmal täglich aktualisiert werden, sind die auf der Testseite verfügbaren Daten möglicherweise aktueller als die in der BigQuery-Konsole verfügbaren Daten.