Remote Config-Roll-outs

In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config-Rollouts, damit Sie Folgendes tun können:

Mitgliedschaft in Roll-out-Gruppen

Wenn Sie einen neuen Roll-out erstellen und einen Prozentsatz zuweisen, platziert Firebase einen gleich großen Teil Ihrer Zielgruppe in einer Kontrollgruppe, um genaue Ergebnisse beim Vergleich der Leistung der aktivierten Funktion zu erhalten. Dies führt zu den folgenden Gruppen.

  • Aktiviert: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den Sie in Ihrem Roll-out konfigurieren.
  • Kontrollgruppe: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den sie sonst von Remote Config erhalten hätten, nicht den Rollout-Wert.
  • Nicht zugewiesen:Nutzergeräte in dieser Gruppe erhalten den Wert, den sie sonst von Remote Config erhalten hätten. Die Werte werden jedoch nicht in den Vergleichsergebnissen für die Einführung verwendet.

Wenn Sie die Funktion also für 2% Ihrer Nutzer einführen, werden diese der Gruppe „Aktiviert“ hinzugefügt. Außerdem werden weitere 2% Ihrer Nutzer der Vergleichsgruppe „Kontrollgruppe“ hinzugefügt. 96% Ihrer Nutzer bleiben in der Gruppe „Nicht zugewiesen“.

So können Sie die Leistung von Nutzern und Geräten, die Ihren Rollout-Wert erhalten, mit der Leistung von Nutzern und Geräten vergleichen, die ihn nicht erhalten. Außerdem können Sie auf der Seite Rollout-Ergebnisse effektiv feststellen, ob der Rollout erfolgreich war.

Die Zuweisung von Roll-out-Gruppen ist in allen Phasen eines Roll-outs konsistent. Wenn Sie den Prozentsatz innerhalb desselben Roll-outs auf 0 % reduzieren, erhalten alle Nutzer wieder den Parameterwert, der in der Remote Config-Vorlage definiert ist. Wenn Sie später den Prozentsatz für die Einführung erhöhen, werden Nutzer, die Teil der vorherigen aktivierten Gruppe oder Kontrollgruppe waren, wieder der Gruppe zugewiesen, der sie ursprünglich angehörten, und erhalten Werte, die mit diesen Gruppen übereinstimmen.

Wenn Sie bestätigt haben, dass die Veröffentlichung erfolgreich ist, und sich entscheiden, die App für 100% der Zielnutzer vollständig zu veröffentlichen, wird die Kontrollgruppe in Firebase nicht mehr verwendet. Alle Zielnutzer und ‑geräte erhalten dann den Rollout-Wert.

Wann sollte ich einen Roll-out und wann einen A/B-Test verwenden?

Remote Config-Rollouts und A/B Testing eignen sich für leicht unterschiedliche Anwendungsfälle und können ergänzend verwendet werden.

Einführungen sind schrittweise Veröffentlichungen, die häufig verwendet werden, um eine neue Funktion für eine ausgewählte Gruppe von Nutzern zu veröffentlichen. Möglicherweise möchten Sie Nutzer in einem bestimmten Land oder mit einer bestimmten Version Ihrer App ansprechen. Mit Einführungen können Sie Risiken minimieren und neue Funktionen in einer realen Umgebung mit strengen Kontrollen testen, um zu sehen, wie die Funktion funktioniert. Sie können auch die Leistung Ihrer Backend-Dienste bei der zusätzlichen Last der neuen Funktion beobachten und die Nutzung schätzen, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für ein breiteres Publikum freigeben.

Rollouts sind hervorragende Tools für Situationen, in denen Sie neue Funktionen implementieren, die die Funktionalität erheblich verändern, Änderungen vornehmen, die zu unvorhersehbaren Ergebnissen führen können, oder Änderungen vornehmen, die sich auf Ihre Backend-Infrastruktur, ‑Dienste oder externen APIs auswirken können.

Mit A/B Testing können Sie mehrere Versionen einer Funktion oder eines App-Elements präsentieren, z. B. das Erscheinungsbild der Benutzeroberfläche aktualisieren, Werbetext ändern oder den Schwierigkeitsgrad eines Spiellevels anpassen. Anschließend können Sie Ihren Nutzern verschiedene Varianten präsentieren, um herauszufinden, welche Option basierend auf dem von Ihnen ausgewählten Messwert (z. B. Nutzer-Engagement, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.

A/B Testing kann für datengesteuerte Entscheidungen, Optimierungen und zum Nachvollziehen der Nutzerpräferenzen verwendet werden. Diese Methode eignet sich besonders, wenn Sie mehrere vergleichbare Optionen und sehr spezifische Ziele haben. A/B Testing ist beispielsweise für Änderungen geeignet, mit denen Sie Ihre App optimieren möchten, um einen bestimmten Messwert zu verbessern. Sie können damit z. B. testen, welche Banneranzeigen-Platzierung zu mehr Klicks führt.

Es empfiehlt sich auch, Remote Config-Rollouts und A/B Testing in einer übergeordneten Strategie zu kombinieren: Erstellen Sie zuerst einen A/B-Test mit einer eingeschränkten Gruppe von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing einen Leader ermittelt hat, erstellen Sie einen Roll-out mit der Gewinner-Variante. Behalten Sie die Stabilität und die wichtigsten Messwerte im Blick, während Sie die Anzahl der Nutzer, die die Funktion sehen, schrittweise erhöhen. Wenn Sie sich von der Leistung überzeugt haben, können Sie die Funktion für alle Nutzer einführen.

Roll-out-Ergebnisse verstehen

Nachdem Sie eine Einführung veröffentlicht haben, sollten Sie fast sofort Ergebnisse sehen.

Sie können Ergebnisse auf verschiedene Arten in der Firebase-Konsole ansehen:

  • Erweitern Sie auf der Seite DevOps & Engagement > Remote Config > Parameter den Parameter, den Sie für den Roll-out konfiguriert haben, und klicken Sie unter dem Roll-out auf Ergebnisse ansehen.

  • Klicken Sie auf der Seite DevOps & Engagement > Remote Config > Rollouts auf den Namen des Rollouts.

Mit der App-Auswahl oben auf der Seite DevOps & Engagement > Remote Config > Ergebnisse können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse sind in mehrere Abschnitte unterteilt:

  • Der Abschnitt Zusammenfassung enthält den konfigurierten Rollout-Prozentsatz und bietet die Möglichkeit, einen Rollback durchzuführen oder den Rollout zu bearbeiten. Wenn Sie den Bereich maximieren, sehen Sie eine Übersicht mit den Konfigurationsdetails des Roll-outs und den Änderungsverlauf.

  • Im Bereich Nutzer sehen Sie die Anzahl der einzelnen App-Installationen, bei denen eine Rollout-Vorlage in den folgenden Gruppen abgerufen wurde:

    • Aktiviert:Anzahl der App-Instanzen, die der Bedingung für die Zielbereitstellung entsprechen und den Bereitstellungswert abgerufen haben.
    • Kontrollgruppe:Anzahl der App-Instanzen, die der Bedingung für die Zielbereitstellung entsprechen und den unveränderten Wert abgerufen haben.
    • Ziel: Geschätzte Gesamtzahl der Instanzen, die der Bedingung entsprechen, die Sie in Ihrem Rollout festgelegt haben und die entweder den Rollout oder einen unveränderten Wert erhalten sollen.

    Weitere Informationen Gruppenmitgliedschaft bei der Einführung verstehen.

  • Die Abschnitte Crashlytics und Analytics enthalten Vergleichsdaten für die Gruppen „Aktiviert“ und „Kontrollgruppe“. Sie können die erhobenen Daten nach Letzte 24 Stunden, Seit letzter Veröffentlichung oder Letzte 7 Tage filtern. Die Standardansicht ist „Letzte 24 Stunden“.

Crashlytics Ergebnisse für Roll-outs

Sie sehen die Gesamtzahl der Abstürze, Nicht schwerwiegenden Fehler und ANR-Fehler, die während des Roll-outs aufgetreten sind. Für jede Ergebniskategorie wird ein Balkendiagramm angezeigt, in dem die Rohsummen der Nutzer in den Gruppen Aktiviert und Kontrollgruppe verglichen werden, die die Bedingung des Roll-outs erfüllt haben.

  • Abstürze:Hier sehen Sie die Anzahl und den Prozentsatz der Abstürze sowie die Anzahl der eindeutigen Nutzer, bei denen Abstürze aufgetreten sind, für die aktivierte Gruppe und die Kontrollgruppe.
  • Nicht schwerwiegende Fehler:Hier werden die Anzahl und der Prozentsatz nicht schwerwiegender Fehler sowie die Anzahl der einzelnen Nutzer angezeigt, bei denen nicht schwerwiegende Fehler aufgetreten sind.
  • ANRs (nur Android-Apps): Hier sehen Sie die Anzahl und den Prozentsatz der Ereignisse vom Typ „App antwortet nicht“ sowie die Anzahl der einzelnen Nutzer, bei denen ein oder mehrere ANR-Fehler aufgetreten sind.

Wenn Sie weitere Informationen zu Abstürzen aufrufen möchten, klicken Sie auf Weitere Informationen in Crashlytics ansehen. Dadurch wird die Seite Crashlytics mit einem aktiven Filter für den Roll-out geöffnet, dessen Ergebnisse Sie sich angesehen haben. Auf der Seite Crashlytics werden die Ergebnisse des Rollouts für alle Nutzer gemessen, die jemals der jeweiligen Variante Aktiviert oder Kontrollgruppe ausgesetzt waren. Sie können sich Abstürze der Kontrollgruppe, der aktivierten Gruppe oder beider Gruppen ansehen.

Google Analytics Ergebnisse für Roll-outs

Im Bereich mit den Google Analytics-Rollout-Ergebnissen werden die Analytics-Messwerte für alle Nutzer, die jemals der aktivierten oder der Kontrollgruppe zugeordnet waren, detailliert und in Diagrammen verglichen. Es werden drei Messwerte bereitgestellt:

  • Gesamtumsatz:Der Gesamtumsatz in USD, einschließlich Werbeeinnahmen und Umsatz aus Käufen. Sie können Ihre Ergebnisse filtern, um nur Daten zum Anzeigenumsatz oder zum Umsatz aus Käufen zu sehen.
  • Conversions insgesamt:Hier wird die Gesamtzahl aller Conversion-Ereignisse angezeigt. Sie können die Ergebnisse nach der Conversion filtern, die Sie hervorheben möchten.
  • Gesamtinteraktionszeit:Gibt die Gesamtinteraktionszeit an, die Ihre Nutzer mit einer der Rollout-Varianten verbracht haben. Die gesamte Interaktionsdauer wird im Format Stunden:Minuten:Sekunden angezeigt. Beispiel: 01:31:28. Das Diagramm enthält Daten für den Zeitraum, den Sie oben im Bereich Crashlytics ausgewählt haben.

Nächste Schritte