Remote Config-Roll-outs

In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config Rollouts, so dass Sie Folgendes tun können:

Gruppenmitgliedschaft in Rollout-Gruppen verstehen

Wenn Sie einen neuen Rollout erstellen und einen Prozentsatz zuweisen, platziert Firebase einen gleich großen Teil Ihrer Zielgruppe in einer Kontrollgruppe, um genaue Ergebnisse beim Vergleich der Leistung Ihrer aktivierten Funktion zu erhalten. Dadurch entstehen die folgenden Gruppen.

  • Aktiviert: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den Sie in Ihrem Rollout konfigurieren.
  • Kontrolle: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert , den sie sonst von Remote Config erhalten hätten, nicht den Rollout Wert.
  • Nicht zugewiesen: Nutzergeräte in dieser Gruppe erhalten den Wert, den sie sonst von Remote Config erhalten hätten, werden aber nicht in den Rollout- Vergleichsergebnissen verwendet.

Wenn Sie also einen Rollout für 2% Ihrer Nutzer durchführen, werden diese der Gruppe „Aktiviert“ hinzugefügt und weitere 2% Ihrer Nutzer werden der Gruppe „Kontrolle“ hinzugefügt, die für den Vergleich verwendet wird. 96% Ihrer Nutzer bleiben in der Gruppe „Nicht zugewiesen“.

Dieser Ansatz ermöglicht einen fairen Vergleich zwischen der Leistung von Nutzern und Geräten, die Ihren Rollout-Wert erhalten, und solchen, die ihn nicht erhalten. So können Sie auf der Seite „Rollout Ergebnisse“ effektiv feststellen, ob der Rollout erfolgreich war.

Die Zuweisung zu Rollout-Gruppen ist in allen Phasen eines Rollouts konsistent. Wenn Sie also innerhalb desselben Rollouts den Prozentsatz auf 0 % reduzieren, erhalten alle Nutzer wieder den Parameterwert, der in der Remote Config Vorlage definiert ist. Wenn Sie später den Rollout-Prozentsatz erhöhen, werden Nutzer, die Teil der vorherigen Gruppen „Aktiviert“ oder „Kontrolle“ waren, wieder der Gruppe zugewiesen, der sie ursprünglich angehörten, und erhalten Werte, die mit diesen Gruppen übereinstimmen.

Wenn Sie bestätigt haben, dass Ihr Release erfolgreich ist, und es für 100% der Zielnutzer einführen möchten, verwendet Firebase die Kontrollgruppe nicht mehr und alle Zielnutzer und ‑geräte erhalten den Rollout-Wert.

Wann sollte ein Rollout und wann ein A/B-Test verwendet werden?

Remote Config Rollouts und A/B Testing eignen sich für leicht unterschiedliche Anwendungs fälle und können ergänzend eingesetzt werden.

Rollouts sind schrittweise Releases und werden häufig verwendet, um eine neue Funktion für eine ausgewählte Gruppe von Nutzern freizugeben. Möglicherweise möchten Sie Nutzer in einem bestimmten Land oder mit einer bestimmten Version Ihrer App ansprechen. Mit Rollouts können Sie Risiken minimieren und neue Funktionen in einer realen Umgebung mit strengen Kontrollen testen, um zu sehen, wie die Funktion funktioniert. Sie können auch die Leistung Ihrer Back-End-Dienste bei der zusätzlichen Last der neuen Funktion beobachten und die Nutzung schätzen, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für ein breiteres Publikum freigeben.

Rollouts sind hervorragende Tools für Situationen, in denen Sie neue Funktionen implementieren, die die Funktionalität erheblich verändern, zu unvorhersehbaren Ergebnissen führen oder Ihre Back-End-Infrastruktur, ‑Dienste oder externen APIs beeinträchtigen können.

A/B Testing ermöglicht es Ihnen, mehrere Versionen einer Funktion oder eines App-Elements zu präsentieren, z. B. das Erscheinungsbild der Benutzeroberfläche zu aktualisieren, Werbetexte zu ändern oder den Schwierigkeitsgrad eines Spiellevels anzupassen. Sie können dann verschiedene Varianten Ihren Nutzern präsentieren, um herauszufinden, welche Option basierend auf dem von Ihnen ausgewählten Messwert (z. B. Nutzer-Engagement, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.

Verwenden Sie A/B Testing für datengestützte Entscheidungen, Optimierungen und um die Präferenzen Ihrer Nutzer zu verstehen. Sie eignen sich perfekt für Situationen, in denen Sie mehrere vergleichbare Optionen und sehr spezifische Ziele haben. Beispielsweise A/B Testing ist für Änderungen geeignet, bei denen Sie Ihre App optimieren möchten, um einen bestimmten Messwert zu verbessern, z. B. um zu testen, welche Banneranzeigen-Platzierung zu mehr Klicks führt.

Es ist auch eine gute Idee, Remote Config Rollouts und A/B Testing im Rahmen einer übergreifenden Strategie zu kombinieren: Erstellen Sie zuerst einen A/B-Test mit einer begrenzten Anzahl von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing eine Gewinner-Variante ermittelt hat, erstellen Sie einen Rollout mit dieser Variante. Beobachten Sie die Stabilität und die wichtigsten Messwerte, während Sie die Anzahl der Nutzer, die die Variante sehen, schrittweise erhöhen. Wenn Sie mit der Leistung zufrieden sind, führen Sie den Rollout für 100 % der Nutzer durch.

Rollout-Ergebnisse verstehen

Nachdem Sie einen Rollout veröffentlicht haben, sollten Sie fast sofort Ergebnisse sehen.

In der Firebase Konsole können Sie die Ergebnisse auf verschiedene Arten ansehen:

  • Erweitern Sie auf der Seite DevOps & Engagement > Remote Config > Parameter den Parameter, den Sie für den Rollout konfiguriert haben, und klicken Sie unter dem Rollout auf Ergebnisse ansehen.

  • Klicken Sie auf der Seite DevOps & Engagement > Remote Config > Rollouts auf den Namen des Rollouts.

Mit der App-Auswahl oben auf der Seite DevOps & Engagement > Remote Config > Ergebnisse können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse sind in mehrere Abschnitte unterteilt:

  • Der Abschnitt Zusammenfassung zeigt den konfigurierten Rollout-Prozentsatz und bietet die Möglichkeit, einen Rollback durchzuführen oder den Rollout zu bearbeiten. Wenn er erweitert ist, sehen Sie eine Übersicht über die Konfigurationsdetails des Rollouts und den Änderungsverlauf.

  • Im Abschnitt Nutzer sehen Sie die Anzahl der einzelnen App-Installationen, bei denen eine Rollout-Vorlage in den folgenden Gruppen abgerufen wurde:

    • Aktiviert:Anzahl der App-Instanzen, die der Zielbedingung für den Rollout entsprechen und den Rollout-Wert abgerufen haben.
    • Kontrolle:Anzahl der App-Instanzen, die der Zielbedingung für den Rollout entsprechen und den unveränderten Wert abgerufen haben.
    • Ziel: Geschätzte Gesamtzahl der Instanzen, die der in Ihrem Rollout festgelegten Bedingung entsprechen und entweder den Rollout-Wert oder einen unveränderten Wert erhalten sollten.

    Weitere Informationen finden Sie unter Mitgliedschaft in Rollout-Gruppen.

  • In den Abschnitten Crashlytics und Analytics sehen Sie Vergleichsdaten für die Gruppen „Aktiviert“ und „Kontrolle“. Sie können die erhobenen Daten nach dem Letzte 24 Stunden, Seit der letzten Veröffentlichung oder Letzte 7 Tage filtern. Die Standardansicht ist „Letzte 24 Stunden“.

Crashlytics Ergebnisse für Rollouts

Sie sehen die Gesamtzahl der Abstürze, nicht schwerwiegenden Fehler und ANR-Fehler, die während des Rollouts aufgetreten sind. Für jede Ergebniskategorie wird ein Balkendiagramm angezeigt, in dem die Rohwerte der Nutzer in den Gruppen Aktiviert und Kontrolle verglichen werden, die die Bedingung des Rollouts erfüllt haben.

  • Abstürze:Anzahl und Prozentsatz der Abstürze sowie Anzahl der einzelnen Nutzer, bei denen Abstürze aufgetreten sind, für die Gruppen „Aktiviert“ und „Kontrolle“.
  • Nicht schwerwiegende Fehler:Anzahl und Prozentsatz der nicht schwerwiegenden Fehler sowie Anzahl der einzelnen Nutzer, bei denen nicht schwerwiegende Fehler aufgetreten sind.
  • ANR-Fehler (nur Android-Apps) : Anzahl und Prozentsatz der Ereignisse vom Typ „App antwortet nicht“ sowie Anzahl der einzelnen Nutzer, bei denen ein oder mehrere ANR-Ereignisse aufgetreten sind.

Weitere Informationen zu Abstürzen finden Sie unter Weitere Informationen in Crashlytics. Dadurch wird die Crashlytics Seite mit einem aktiven Filter für den Rollout geöffnet, dessen Ergebnisse Sie gerade geprüft haben. Bei den Rollout-Ergebnissen auf der Crashlytics Seite werden alle Nutzer berücksichtigt, die jemals mit der jeweiligen Variante (Aktiviert oder Kontrolle) in Kontakt gekommen sind. Sie können sich Abstürze in der Kontrollgruppe, Abstürze in der Gruppe „Aktiviert“ oder beides ansehen.

Google Analytics Ergebnisse für Rollouts

Im Abschnitt mit den Google Analytics Rollout-Ergebnissen werden Analytics Messwerte für alle Nutzer, die jemals mit den Gruppen „Aktiviert“ oder „Kontrolle“ in Kontakt gekommen sind, detailliert und in Diagrammen verglichen. Es werden drei Messwerte angegeben:

  • Gesamtumsatz:Gesamtumsatz in US-Dollar, einschließlich Werbeeinnahmen und Umsatz aus Käufen. Sie können die Ergebnisse filtern, um nur Ergebnisse für Werbeeinnahmen oder Umsatz aus Käufen anzuzeigen.
  • Conversions insgesamt:Rohwert der Summe aller Conversion-Ereignisse. Sie können die Ergebnisse nach der Conversion filtern, die Sie hervorheben möchten.
  • Gesamte Interaktionsdauer:Zeigt die gesamte Interaktionsdauer, die Ihre Nutzer mit einer der Rollout-Varianten verbracht haben. Die gesamte Interaktionsdauer wird im Format „Stunden:Minuten:Sekunden“ angezeigt. Beispiel: 01:31:28. Das Diagramm zeigt Daten aus dem Zeitraum, den Sie über dem Crashlytics Abschnitt ausgewählt haben.

Nächste Schritte