Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

In-App-Messaging-Tests mit A/B Testing erstellen

Wenn Sie Ihre Nutzer kontaktieren oder eine neue Marketingkampagne starten, möchten Sie sicherstellen, dass Sie alles richtig machen. Mit A/B-Tests können Sie die optimale Formulierung und Präsentation finden, indem Sie Mitteilungsvarianten für ausgewählte Teile Ihrer Nutzerbasis testen. Unabhängig davon, ob Ihr Ziel eine bessere Kundenbindung oder eine höhere Conversion-Rate für ein Angebot ist, können Sie mit A/B-Tests statistische Analysen durchführen, um festzustellen, ob eine Nachrichtenvariante die Baseline für Ihr ausgewähltes Ziel übertrifft.

So führen Sie A/B-Tests für Featurevarianten mit einer Baseline durch:

Test erstellen
Validieren Sie Ihren Test auf einem Testgerät.
Verwalten Sie Ihren Test.

Test erstellen

Bei einem Test mit Firebase In-App Messaging können Sie mehrere Varianten einer einzelnen In-App-Nachricht bewerten.

Prüfen Sie, ob Google Analytics in Ihrem Projekt aktiviert ist, damit das Experiment Zugriff auf Analytics-Daten hat.

Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie es in der Firebase-Konsole auf dem Tab Einstellungen > Integrationen aktivieren.
Starten Sie in der Firebase-Konsole einen Firebase In-App Messaging-Test mit einer der folgenden Optionen:
- Von A/B Testing:
  1. Gehen Sie zu DevOps und Interaktionen > A/B-Tests.
  2. Klicken Sie auf Test erstellen und wählen Sie dann In-App-Messaging aus, wenn Sie nach dem Dienst gefragt werden, den Sie testen möchten.
- Von In-App Messaging:
  1. Gehen Sie zu DevOps & Engagement > Messaging.
  2. Klicken Sie auf In-App Messaging und dann auf Neuer Test.
Geben Sie einen Namen und optional eine Beschreibung für den Test ein und klicken Sie auf Weiter.
Füllen Sie die Felder unter Targeting aus. Wählen Sie zuerst die App aus, für die der Test verwendet wird. Sie können auch eine Teilmenge Ihrer Nutzer für die Teilnahme an Ihrem Test auswählen. Dazu stehen Ihnen unter anderem die folgenden Optionen zur Verfügung:
- Version:Eine oder mehrere Versionen Ihrer App
- Nutzerzielgruppe:Analytics Zielgruppen, die für das Targeting von Nutzern verwendet werden, die am Test teilnehmen könnten
- Nutzereigenschaft: Eine oder mehrere Analytics-Nutzereigenschaften, um Nutzer auszuwählen, die am Test teilnehmen können
- Land/Region:Wählen Sie mindestens ein Land oder eine Region aus, um Nutzer auszuwählen, die in den Test einbezogen werden könnten.
- Gerätesprache:Eine oder mehrere Sprachen und Regionen, die verwendet werden, um Nutzer auszuwählen, die am Test teilnehmen können.
- Erstes Öffnen:Die Ausrichtung auf Nutzer basiert auf dem Zeitpunkt, zu dem sie Ihre App zum ersten Mal geöffnet haben.
- Letzte App-Interaktion:Die Ausrichtung auf Nutzer basiert auf dem Zeitpunkt der letzten Interaktion mit Ihrer App.
Hinweis: Bei Tests, die auf Analytics-Nutzerzielgruppen ausgerichtet sind, kann es 24 bis 48 Stunden dauern, bis Daten erfasst werden. Weitere Informationen zu dieser und anderen Targeting-Optionen finden Sie unter Nutzer-Targeting.
Legen Sie den Prozentsatz der Zielnutzer fest:Wählen Sie den Prozentsatz der Nutzerbasis Ihrer App aus, die den unter Zielnutzer festgelegten Kriterien entsprechen. Diese Nutzer sollen gleichmäßig auf die Baseline und eine oder mehrere Varianten in Ihrem Test aufgeteilt werden. Dies kann ein beliebiger Prozentsatz zwischen 0,01% und 100 % sein. Die Prozentsätze werden Nutzern für jeden Test, einschließlich duplizierter Tests, nach dem Zufallsprinzip neu zugewiesen.
Konfigurieren Sie im Bereich Varianten eine Baseline-In-App-Nachricht, die an die Baseline-Gruppe gesendet werden soll. Verwenden Sie dazu die Oberfläche für das Nachrichtendesign, die Sie für eine normale In-App-Messaging-Kampagne verwenden.
Klicken Sie auf Variante hinzufügen, um Ihrem Test eine Variante hinzuzufügen. Standardmäßig haben Tests eine Baseline und eine Variante.
Optional: Geben Sie für jede Variante einen aussagekräftigeren Namen ein.
(Optional) Klicken Sie oben im Bereich Varianten auf die Schaltfläche Varianten vergleichen, um eine oder mehrere Mitteilungsvarianten mit der Baseline-Mitteilung zu vergleichen.
Definieren Sie einen Zielmesswert für Ihren Test, der bei der Bewertung von Testvarianten verwendet werden soll, sowie alle zusätzlichen Messwerte, die Sie aus der Liste verwenden möchten. Diese Messwerte umfassen integrierte Ziele (Engagement, Käufe, Umsatz, Bindung usw.), Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse.
Konfigurieren Sie den Zeitplan für den Test:
- Legen Sie ein Startdatum und ein Enddatum für den Test fest.
- Legen Sie fest, wie In-App-Nachrichten in allen Varianten ausgelöst werden.
Klicken Sie auf Prüfen, um den Test zu speichern.

Pro Projekt sind bis zu 300 Tests (einschließlich Roll-outs) zulässig. Davon können bis zu 24 Tests und Roll-outs aktiv sein, die restlichen müssen abgeschlossen sein.

Test auf einem Testgerät validieren

Für jede Firebase-Installation können Sie das zugehörige Authentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Testvarianten auf einem Testgerät testen, auf dem Ihre App installiert ist. So validieren Sie Ihren Test auf einem Testgerät:

Rufen Sie das Installations-Authentifizierungstoken so ab:

Swift

do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

Objective-C

[[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

Java

FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});MainActivity.java

Kotlin

val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }MainActivity.kt

Web

      import { getInstallations, getToken } from "firebase/installations";

      const installations = getInstallations(app);
      const installationAuthToken = getToken(installations);

Rufen Sie in der Firebase-Konsole DevOps & Engagement > A/B Testing auf.
Klicken Sie auf Entwurf (und/oder Wird ausgeführt für Remote Config-Tests), bewegen Sie den Mauszeiger auf den Test, klicken Sie auf das Kontextmenü () und dann auf Testgeräte verwalten.
Geben Sie das Installationsauthentifizierungstoken für ein Testgerät ein und wählen Sie die Testvariante aus, die an dieses Testgerät gesendet werden soll.
Führen Sie die App aus und prüfen Sie, ob die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase-Installationen finden Sie unter Firebase-Installationen verwalten.

Test verwalten

Unabhängig davon, ob Sie einen Test mit Remote Config, dem Notifications Composer oder Firebase In-App Messaging erstellen, können Sie ihn anschließend validieren und starten, während der Ausführung überwachen und die Anzahl der Nutzer erhöhen, die in den laufenden Test einbezogen werden.

Wenn der Test abgeschlossen ist, können Sie die Einstellungen der erfolgreichsten Variante notieren und dann für alle Nutzer übernehmen. Oder Sie können einen weiteren Test durchführen.

Test starten

Rufen Sie in der Firebase-Konsole DevOps & Engagement > A/B Testing auf.
Klicken Sie auf Entwurf und dann auf den Titel des Tests.
Wenn Sie prüfen möchten, ob es Nutzer Ihrer App gibt, die in den Test einbezogen werden, maximieren Sie die Entwurfsdetails und sehen Sie im Bereich Targeting und Verteilung nach, ob dort eine Zahl größer als 0% angezeigt wird, z. B. 1% der Nutzer, die die Kriterien erfüllen.
Wenn Sie den Test ändern möchten, klicken Sie auf Bearbeiten.
Klicken Sie auf Test starten, um den Test zu starten. Pro Projekt können bis zu 24 Tests gleichzeitig durchgeführt werden.

Test beobachten

Wenn ein Test eine Weile läuft, können Sie sich den Fortschritt ansehen und die Ergebnisse für die Nutzer prüfen, die bisher am Test teilgenommen haben.

Rufen Sie in der Firebase-Konsole DevOps & Engagement > A/B Testing auf.
Klicken Sie auf Wird ausgeführt und dann auf den Titel Ihres Tests oder suchen Sie danach. Auf dieser Seite finden Sie verschiedene beobachtete und geschätzte Statistiken zu Ihrem laufenden Test, darunter:
- % Abweichung von der Baseline: Ein Maß für die Verbesserung eines Messwerts für eine bestimmte Variante im Vergleich zur Baseline. Wird berechnet, indem der Wertebereich für die Variante mit dem Wertebereich für die Baseline verglichen wird.
- Wahrscheinlichkeit, die ursprüngliche Variante zu übertreffen: Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die ursprüngliche Variante für den ausgewählten Messwert übertrifft.
- observed_metric pro Nutzer: Basierend auf den Testergebnissen ist dies der vorhergesagte Bereich, in den der Messwert im Laufe der Zeit fallen wird.
- observed_metric insgesamt: Der beobachtete kumulative Wert für die Baseline oder Variante. Der Wert wird verwendet, um die Leistung der einzelnen Testvarianten zu messen und die Verbesserung, den Wertebereich, die Wahrscheinlichkeit, die Baseline zu übertreffen und die Wahrscheinlichkeit, die beste Variante zu sein, zu berechnen. Je nach gemessenem Messwert kann diese Spalte die Bezeichnung „Dauer pro Nutzer“, „Umsatz pro Nutzer“, „Bindungsrate“ oder „Conversion-Rate“ haben.
Nachdem der Test eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App Messaging oder 14 Tage für Remote Config), zeigen die Daten auf dieser Seite, welche Variante, falls vorhanden, die „führende“ ist. Einige Messwerte werden von einem Balkendiagramm begleitet, das die Daten in einem visuellen Format darstellt.

Test für alle Nutzer einführen

Wenn ein Test lange genug gelaufen ist, um die beste Variante für den entsprechenden Zielmesswert zu ermitteln, können Sie den Test auf alle Nutzer ausweiten. So können Sie eine Variante auswählen, die ab sofort allen Nutzern präsentiert wird. Das ist auch dann möglich, wenn keine Variante die beste ist.

Rufen Sie in der Firebase-Konsole DevOps & Engagement > A/B Testing auf.
Klicken Sie auf Abgeschlossen oder Wird ausgeführt, klicken Sie auf einen Test, den Sie für alle Nutzer freigeben möchten, und klicken Sie dann im Kontextmenü () auf Variante einführen.
Führen Sie einen der folgenden Schritte aus, um den Test für alle Nutzer einzuführen:
- Bei einem Experiment, für das der Notifications Composer verwendet wird, können Sie die Nachricht über das Dialogfeld Nachricht bereitstellen an die verbleibenden Zielnutzer senden, die nicht am Experiment teilgenommen haben.
- Wählen Sie für einen Remote Config-Test eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Tests definierten Targeting-Kriterien werden als neue Bedingung in Ihre Vorlage eingefügt, sodass die Variante nur für die Nutzer bereitgestellt wird, auf die der Test ausgerichtet ist. Klicken Sie auf In Remote Config überprüfen, um die Änderungen zu sehen. Klicken Sie zum Abschluss auf Änderungen veröffentlichen.
- Verwenden Sie für einen In-App Messaging-Test das Dialogfeld, um festzulegen, welche Variante als eigenständige In-App Messaging-Kampagne eingeführt werden soll. Nach der Auswahl werden Sie zum FIAM-Erstellungsbildschirm weitergeleitet, um vor der Veröffentlichung bei Bedarf Änderungen vorzunehmen.

Test erweitern

Wenn Sie feststellen, dass ein Test nicht genügend Nutzer für A/B Testing generiert, um einen Gewinner zu ermitteln, können Sie die Verteilung Ihres Tests erhöhen, um einen größeren Prozentsatz der Nutzerbasis der App zu erreichen.

Rufen Sie in der Firebase-Konsole DevOps & Engagement > A/B Testing auf.
Wählen Sie den laufenden Test aus, den Sie bearbeiten möchten.
Klicken Sie in der Testübersicht auf das Kontextmenü () und dann auf Laufenden Test bearbeiten.
Im Dialogfeld Ausrichtung wird eine Option angezeigt, mit der Sie den Prozentsatz der Nutzer erhöhen können, die am laufenden Test teilnehmen. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf Veröffentlichen. Der Test wird für den von Ihnen angegebenen Prozentsatz der Nutzer bereitgestellt.

Test duplizieren oder beenden

Rufen Sie in der Firebase-Konsole DevOps & Engagement > A/B Testing auf.
Klicken Sie auf Abgeschlossen oder Wird ausgeführt, bewegen Sie den Mauszeiger auf den Test, klicken Sie auf das Kontextmenü () und dann auf Test duplizieren oder Test beenden.

Nutzer-Targeting

Sie können die Nutzer, die in Ihren Test einbezogen werden sollen, anhand der folgenden Targeting-Kriterien auswählen.

Targeting-Kriterium	Operator(en)	Werte	Hinweis
Version	enthält, enthält nicht, stimmt genau überein, enthält regulären Ausdruck(Regex)	Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in den Test einbeziehen möchten.	Wenn Sie einen der Operatoren enthält, enthält nicht oder stimmt genau überein verwenden, können Sie eine durch Kommas getrennte Liste von Werten angeben. Wenn Sie den Operator enthält Regex verwenden, können Sie reguläre Ausdrücke im RE2-Format erstellen. Ihr regulärer Ausdruck kann mit dem gesamten Zielversionsstring oder einem Teil davon übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder den gesamten Zielstring abzugleichen.
Nutzerzielgruppe(n)	enthält alle, enthält mindestens einen, enthält nicht alle, enthält mindestens einen nicht	Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die in Ihren Test einbezogen werden könnten.	Bei einigen Tests, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis Daten erfasst werden, da sie der Analytics-Datenverarbeitungslatenz unterliegen. Diese Verzögerung tritt am wahrscheinlichsten bei neuen Nutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in qualifizierte Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen.
Nutzereigenschaft	Für Text: enthält, enthält nicht, stimmt genau überein, enthält regulären Ausdruck(Regex) Für Zahlen: <, ≤, =, ≥, >	Mit einer Nutzereigenschaft vom Typ Analytics werden Nutzer ausgewählt, die in einen Test einbezogen werden können. Dabei stehen verschiedene Optionen zur Auswahl von Nutzereigenschaftswerten zur Verfügung. Auf dem Client können Sie nur Stringwerte für Nutzereigenschaften festlegen. Bei Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config-Dienst den Wert der entsprechenden Nutzereigenschaft in eine Ganzzahl oder Gleitkommazahl.	Wenn Sie den Operator enthält Regex verwenden, können Sie reguläre Ausdrücke im RE2-Format erstellen. Ihr regulärer Ausdruck kann mit dem gesamten Zielversionsstring oder einem Teil davon übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder den gesamten Zielstring abzugleichen.
Land/Region	–	Ein oder mehrere Länder oder Regionen, die verwendet werden, um Nutzer auszuwählen, die am Test teilnehmen können.
Sprachen	–	Eine oder mehrere Sprachen und Regionen, die zur Auswahl von Nutzern verwendet werden, die am Test teilnehmen können.
Erstes Öffnen	Mehr als Weniger als Zwischen	Die Ausrichtung auf Nutzer basiert auf dem Zeitpunkt, zu dem sie Ihre App zum ersten Mal geöffnet haben, angegeben in Tagen.
Letztes Engagement mit der App	Mehr als Weniger als Zwischen	Die Ausrichtung auf Nutzer basiert auf dem Zeitpunkt der letzten Interaktion mit Ihrer App, angegeben in Tagen.

A/B Testing Messwerte

Wenn Sie einen Test erstellen, wählen Sie einen primären Messwert oder einen Zielmesswert aus, mit dem die beste Variante ermittelt wird. Sie sollten auch andere Messwerte im Blick behalten, um die Leistung der einzelnen Testvarianten besser zu verstehen und wichtige Trends zu verfolgen, die sich für jede Variante unterscheiden können, z. B. Nutzerbindung, App-Stabilität und Umsatz aus In-App-Käufen. Sie können in Ihrem Test bis zu fünf Messwerte erfassen, die keine Zielmesswerte sind.

Angenommen, du hast deiner App neue In-App-Käufe hinzugefügt und möchtest die Effektivität von zwei verschiedenen „Anstoß“-Nachrichten vergleichen. In diesem Fall können Sie Kaufumsatz als Zielmesswert festlegen, da die Gewinner-Variante die Benachrichtigung darstellen soll, die den höchsten In-App-Kaufumsatz erzielt hat. Da Sie auch erfassen möchten, welche Variante zu mehr zukünftigen Conversions und mehr gehaltenen Nutzern geführt hat, können Sie unter Weitere zu erfassende Messwerte Folgendes hinzufügen:

Geschätzte Gesamteinnahmen, um zu sehen, wie sich die kombinierten In-App-Kauf- und Werbeeinnahmen zwischen den beiden Varianten unterscheiden.
Nutzerbindung (1 Tag), Nutzerbindung (2–3 Tage), Nutzerbindung (4–7 Tage), um die tägliche oder wöchentliche Nutzerbindung zu erfassen.

In den folgenden Tabellen finden Sie Details zur Berechnung von Zielmesswerten und anderen Messwerten.

Messwerte zu Zielvorhaben

Messwert	Beschreibung
Nutzer ohne Abstürze	Der Prozentsatz der Nutzer, bei denen während des Tests keine Fehler in Ihrer App aufgetreten sind, die vom Firebase Crashlytics SDK erkannt wurden. Hinweis: Firebase Crashlytics wird für Webanwendungen nicht unterstützt.
Geschätzter Werbeumsatz	Geschätzte Werbeeinnahmen.
Geschätzte Gesamteinnahmen	Kombinierter Wert für Käufe und geschätzte Werbeeinnahmen.
Umsatz aus Käufen	Kombinierter Wert für alle `purchase`- und `in_app_purchase`-Ereignisse.
Nutzerbindung (1 Tag)	Die Anzahl der Nutzer, die Ihre App täglich verwenden.
Kundenbindung (2–3 Tage)	Die Anzahl der Nutzer, die innerhalb von 2–3 Tagen zu Ihrer App zurückkehren.
Kundenbindung (4–7 Tage)	Die Anzahl der Nutzer, die innerhalb von 4–7 Tagen zu Ihrer App zurückkehren.
Kundenbindung (8–14 Tage)	Die Anzahl der Nutzer, die innerhalb von 8–14 Tagen zu Ihrer App zurückkehren.
Nutzerbindung (15+ Tage)	Die Anzahl der Nutzer, die mindestens 15 Tage nach der letzten Nutzung zu Ihrer App zurückkehren.
first_open	Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Nutzer eine App nach der Installation oder Neuinstallation zum ersten Mal öffnet. Wird als Teil eines Conversion-Trichters verwendet.

Weitere Messwerte

Messwert	Beschreibung
notification_dismiss	Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung geschlossen wird (nur Android).
notification_receive	Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Notifications Composer gesendete Benachrichtigung empfangen wird, während die App im Hintergrund ausgeführt wird (nur Android).
os_update	Ein Analytics-Ereignis, mit dem erfasst wird, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird.Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse. Dieser Messwert wird für Webanwendungen nicht unterstützt.
screen_view	Ein Analytics-Ereignis, mit dem die in Ihrer App aufgerufenen Bildschirme erfasst werden. Weitere Informationen finden Sie unter Bildschirmaufrufe erfassen.
session_start	Ein Analytics-Ereignis, das Nutzersitzungen in Ihrer App zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse.