Remote Config-Roll-outs

In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config Rollouts. So können Sie:

Gruppenmitgliedschaft in Rollout-Gruppen verstehen

Wenn Sie einen neuen Rollout erstellen und einen Prozentsatz zuweisen, platziert Firebase einen gleich großen Teil Ihrer Zielgruppe in einer Kontrollgruppe, um genaue Ergebnisse beim Vergleich der Leistung Ihrer aktivierten Funktion zu erhalten. So entstehen die folgenden Gruppen:

  • Aktiviert: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den Sie in Ihrem Rollout konfigurieren.
  • Kontrolle: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert , den sie sonst von Remote Config erhalten hätten, nicht den Rollout Wert.
  • Nicht zugewiesen: Nutzergeräte in dieser Gruppe erhalten den Wert, den sie sonst von Remote Config erhalten hätten, werden aber nicht in den Rollout- Vergleichsergebnissen verwendet.

Wenn Sie den Rollout also für 2% Ihrer Nutzer durchführen, werden diese der Gruppe „Aktiviert“ hinzugefügt und weitere 2% Ihrer Nutzer werden der Gruppe „Kontrolle“ hinzugefügt, die für den Vergleich verwendet wird. 96% Ihrer Nutzer bleiben in der Gruppe „Nicht zugewiesen“.

Dieser Ansatz ermöglicht einen fairen Vergleich zwischen der Leistung von Nutzern und Geräten, die den Rollout-Wert erhalten, und solchen, die ihn nicht erhalten. So können Sie auf der Seite „Rollout Ergebnisse“ effektiv feststellen, ob der Rollout erfolgreich war.

Die Zuweisung zu Rollout-Gruppen ist in allen Phasen eines Rollouts konsistent. Wenn Sie also innerhalb desselben Rollouts den Prozentsatz auf 0 % reduzieren, erhalten alle Nutzer wieder den Parameterwert, der in der Remote Config Vorlage definiert ist. Wenn Sie später den Prozentsatz für den Rollout erhöhen, werden Nutzer, die Teil der vorherigen Gruppen „Aktiviert“ oder „Kontrolle“ waren, wieder der Gruppe zugewiesen, der sie ursprünglich angehörten, und erhalten Werte, die mit diesen Gruppen übereinstimmen.

Wenn Sie bestätigt haben, dass Ihr Release erfolgreich ist, und sich entscheiden, es vollständig für 100% der Zielnutzer einzuführen, verwendet Firebase die Kontrollgruppe nicht mehr und alle Zielnutzer und ‑geräte erhalten den Rollout-Wert.

Wann sollte ich einen Rollout und wann einen A/B-Test verwenden?

Remote Config Rollouts und A/B Testing eignen sich für leicht unterschiedliche Anwendungs fälle und können ergänzend eingesetzt werden.

Rollouts sind schrittweise Releases und werden häufig verwendet, um eine neue Funktion für eine ausgewählte Gruppe von Nutzern freizugeben. Möglicherweise möchten Sie Nutzer in einem bestimmten Land oder mit einer bestimmten Version Ihrer App ansprechen. Mit Rollouts können Sie Risiken minimieren und neue Funktionen in einer realen Umgebung mit strengen Kontrollen testen, um zu sehen, wie die Funktion funktioniert. Sie können auch die Leistung Ihrer Back-End-Dienste bei der zusätzlichen Last der neuen Funktion beobachten und die Nutzung schätzen, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für eine größere Zielgruppe freigeben.

Rollouts sind hervorragende Tools für Situationen, in denen Sie neue Funktionen implementieren, die die Funktionalität erheblich verändern, Änderungen, die zu unvorhersehbaren Ergebnissen führen können, oder Änderungen, die sich auf Ihre Back-End-Infrastruktur, ‑Dienste oder externen APIs auswirken können.

A/B Testing gibt Ihnen die Möglichkeit, mehrere Versionen einer Funktion oder eines App-Elements zu präsentieren, z. B. das Aussehen und die Bedienung der Benutzeroberfläche zu aktualisieren, Werbetexte zu ändern oder den Schwierigkeitsgrad eines Spiels zu aktualisieren. Sie können dann verschiedene Varianten Ihren Nutzern präsentieren, um herauszufinden, welche Option basierend auf dem von Ihnen ausgewählten Messwert (z. B. Nutzer-Engagement, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.

Verwenden Sie A/B Testing für datengestützte Entscheidungen, Optimierungen und um die Präferenzen Ihrer Nutzer zu verstehen. Sie eignen sich perfekt für Situationen, in denen Sie mehrere vergleichbare Optionen und sehr spezifische Ziele haben. Beispielsweise ist A/B Testing für Änderungen geeignet, bei denen Sie Ihre App optimieren möchten, um einen bestimmten Messwert zu verbessern, z. B. um zu testen, welche Anzeigen-Placement von Banneranzeigen zu mehr Klicks führt.

Es ist auch eine gute Idee, Remote Config Rollouts und A/B Testing im Rahmen einer übergreifenden Strategie zu kombinieren: Erstellen Sie zuerst einen A/B-Test mit einer begrenzten Anzahl von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing eine Gewinner-Variante ermittelt hat, erstellen Sie einen Rollout mit dieser Variante. Beobachten Sie die Stabilität und die wichtigsten Messwerte, während Sie die Anzahl der Nutzer, für die der Rollout verfügbar ist, schrittweise erhöhen. Wenn Sie mit der Leistung zufrieden sind, führen Sie den Rollout für 100 % der Nutzer durch.

Rollout-Ergebnisse verstehen

Nachdem Sie einen Rollout veröffentlicht haben, sollten Sie fast sofort Ergebnisse sehen.

Sie können die Ergebnisse auf verschiedene Arten ansehen:

  • Erweitern Sie auf der Seite Parameter den Parameter, den Sie für den Rollout konfiguriert haben, und klicken Sie unter dem Rollout auf Ergebnisse ansehen.
  • Klicken Sie auf der Seite Rollouts auf den Namen des Rollouts.

Mit der App-Auswahl oben auf der Seite „Ergebnisse“ können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse sind in mehrere Abschnitte unterteilt:

  • Der Abschnitt Zusammenfassung zeigt den konfigurierten Rollout-Prozentsatz und bietet die Möglichkeit, einen Rollback durchzuführen oder den Rollout zu bearbeiten. Wenn dieser Abschnitt erweitert ist, sehen Sie eine Übersicht über die Konfigurationsdetails der Einführung und den Änderungsverlauf.

  • Im Abschnitt Nutzer sehen Sie die Anzahl der einzelnen App-Installationen, bei denen eine Rollout-Vorlage in den folgenden Gruppen abgerufen wurde:

    • Aktiviert:Anzahl der App-Instanzen, die der Zielbedingung für den Rollout entsprechen und den Rollout-Wert abgerufen haben.
    • Kontrolle:Anzahl der App-Instanzen, die der Zielbedingung für den Rollout entsprechen und den unveränderten Wert abgerufen haben.
    • Ziel: Geschätzte Gesamtzahl der Instanzen, die der in Ihrem Rollout festgelegten Bedingung entsprechen und entweder den Rollout-Wert oder einen unveränderten Wert erhalten sollten.

    Weitere Informationen finden Sie unter Mitgliedschaft in Rollout-Gruppen.

  • In den Abschnitten Crashlytics und Analytics sehen Sie Vergleichsdaten für die Gruppen „Aktiviert“ und „Kontrolle“. Sie können die erhobenen Daten nach dem Letzte 24 Stunden, Seit der letzten Veröffentlichung oder Letzte 7 Tage filtern. Die Standardansicht ist „Letzte 24 Stunden“.

Crashlytics Ergebnisse für Rollouts

Sie sehen die Gesamtzahl der Abstürze, nicht schwerwiegenden Fehler und ANR-Fehler, die während des Rollouts aufgetreten sind. Für jede Ergebniskategorie wird ein Balkendiagramm angezeigt, in dem die Rohwerte der aktivierten und Kontrollnutzer verglichen werden, die die Bedingung des Rollouts erfüllt haben.

  • Abstürze:Zeigt die Anzahl und den Prozentsatz der Abstürze sowie die Anzahl der einzelnen Nutzer, bei denen Abstürze aufgetreten sind, für die Gruppen „Aktiviert“ und „Kontrolle“.
  • Nicht schwerwiegende Fehler:Zeigt die Anzahl und den Prozentsatz der nicht schwerwiegenden Fehler sowie die Anzahl der einzelnen Nutzer, bei denen nicht schwerwiegende Fehler aufgetreten sind.
  • ANRs (nur Android-Apps): Zeigt die Anzahl und den Prozentsatz der Ereignisse vom Typ „App antwortet nicht“ sowie die Anzahl der einzelnen Nutzer, bei denen ein oder mehrere ANR-Ereignisse aufgetreten sind.

Weitere Informationen zu Abstürzen finden Sie unter Weitere Informationen in Crashlytics. Dadurch wird die Crashlytics Seite mit einem aktiven Filter für den Rollout geöffnet, dessen Ergebnisse Sie gerade geprüft haben. Bei den Rollout-Ergebnissen auf der Crashlytics Seite werden alle Nutzer berücksichtigt, die jemals der jeweiligen Variante ausgesetzt waren, also Aktiviert oder Kontrolle. Sie können sich Abstürze der Kontrollgruppe, Abstürze der Gruppe „Aktiviert“ oder beides ansehen.

Google Analytics Ergebnisse für Rollouts

Im Abschnitt mit den Google Analytics Rollout-Ergebnissen werden Analytics Messwerte für alle Nutzer, die jemals den Gruppen „Aktiviert“ oder „Kontrolle“ ausgesetzt waren, detailliert und in Diagrammansichten verglichen. Es werden drei Messwerte angegeben:

  • Gesamtumsatz:Zeigt den Gesamtumsatz in USD, einschließlich Werbeeinnahmen und Umsatz aus Käufen. Sie können die Ergebnisse filtern, um nur Ergebnisse für Werbeeinnahmen oder Umsatz aus Käufen anzuzeigen.
  • Conversions insgesamt:Zeigt die Rohanzahl der Summe aller Conversion-Ereignisse. Sie können die Ergebnisse nach der Conversion filtern, die Sie hervorheben möchten.
  • Gesamte Interaktionszeit:Zeigt die gesamte Interaktionszeit, die Ihre Nutzer mit einer der Rollout-Varianten verbracht haben. Die gesamte Interaktionszeit wird im Format „Stunden:Minuten:Sekunden“ angezeigt. Beispiel: 01:31:28. Das Diagramm zeigt Daten aus dem Zeitraum, den Sie über dem Crashlytics Abschnitt ausgewählt haben.

Nächste Schritte