Z tego przewodnika dowiesz się więcej o najważniejszych pojęciach związanych z Remote Config wdrażaniem, dzięki czemu będziesz mieć:
- wiedzę o tym, jak działa członkostwo w grupie wdrożeniowej;
- informacje o tym, kiedy warto użyć wdrożenia, a kiedy testu A/B;
- wiedzę o tym, jak interpretować wyniki wdrożenia.
Informacje o członkostwie w grupie wdrożeniowej
Gdy tworzysz nowe wdrożenie i przypisujesz procent, Firebase umieszcza równą część odbiorców w grupie kontrolnej, aby uzyskać dokładne wyniki podczas porównywania skuteczności włączonej funkcji. W rezultacie powstają te grupy:
- Włączona: urządzenia użytkowników przypisane do tej grupy otrzymują wartość skonfigurowaną w wdrożeniu.
- Kontrolna: urządzenia użytkowników przypisane do tej grupy otrzymują wartość , którą w przeciwnym razie otrzymałyby z Remote Config, a nie wartość wdrożenia.
- Nieprzypisana: urządzenia użytkowników w tej grupie otrzymują wartość, którą w przeciwnym razie otrzymałyby z Remote Config, ale nie są używane w wynikach porównania wdrożenia.
Jeśli na przykład wdrożysz funkcję u 2% użytkowników, zostaną oni dodani do grupy Włączona, a dodatkowe 2% użytkowników zostanie dodanych do grupy Kontrolna, która jest używana do porównania. 96% użytkowników pozostanie w grupie Nieprzypisana.
Takie podejście zapewnia sprawiedliwe porównanie skuteczności użytkowników i urządzeń, które otrzymują wartość wdrożenia, z tymi, które jej nie otrzymują. Pozwala też skutecznie określić, czy wdrożenie zakończyło się sukcesem, czy nie, na stronie Wyniki wdrożenia.
Przypisanie do grupy wdrożeniowej jest spójne we wszystkich fazach wdrożenia. Oznacza to, że w ramach tego samego wdrożenia, jeśli zmniejszysz procent do 0%, wszyscy użytkownicy wrócą do otrzymywania wartości parametru zdefiniowanej w Remote Config szablonie. Jeśli później zdecydujesz się zwiększyć procent wdrożenia, użytkownicy, którzy należeli do poprzednich grup Włączona lub Kontrolna, wrócą do grupy, do której zostali pierwotnie przypisani, i będą otrzymywać wartości zgodne z tymi grupami.
Gdy sprawdzisz, że wersja działa prawidłowo, i zdecydujesz się w pełni wdrożyć ją u 100% docelowych użytkowników, Firebase przestanie używać grupy kontrolnej, a wszyscy docelowi użytkownicy i urządzenia będą otrzymywać wartość wdrożenia.
Kiedy używać wdrożenia, a kiedy testu A/B?
Wdrożenia Remote Config i A/B Testing są odpowiednie do nieco innych przypadków użycia i mogą być stosowane w sposób komplementarny.
Wdrożenia to stopniowe udostępnianie funkcji, które często służy do udostępniania nowej funkcji wybranej grupie użytkowników. Możesz kierować reklamy na użytkowników w określonym kraju lub korzystających z określonej wersji aplikacji. Używaj wdrożeń, aby ograniczać ryzyko i testować nowe funkcje w rzeczywistym środowisku z ścisłą kontrolą, dzięki czemu możesz sprawdzić, jak działa funkcja. Możesz też monitorować, jak działają usługi backendowe przy dodatkowym obciążeniu związanym z nową funkcją, i szacować wykorzystanie, aby mieć pewność, że zmiana jest skalowalna, zanim udostępnisz ją szerszej grupie odbiorców.
Wdrożenia to doskonałe narzędzia w sytuacjach, gdy wdrażasz nowe funkcje, które znacząco zmieniają działanie, zmiany mogą prowadzić do nieprzewidywalnych wyników lub zmiany mogą mieć wpływ na infrastrukturę backendową, usługi lub zewnętrzne interfejsy API.
A/B Testing umożliwiają wyświetlanie wielu wersji funkcji lub elementu aplikacji, np. aktualizowanie wyglądu interfejsu, zmienianie tekstu reklamy lub aktualizowanie poziomu trudności gry. Możesz następnie udostępnić użytkownikom różne warianty, aby dowiedzieć się, która opcja przynosi lepsze wyniki na podstawie wybranej przez Ciebie danej (np. zaangażowania użytkowników, kliknięć reklam i przychodów).
Używaj A/B Testing do podejmowania decyzji opartych na danych, optymalizacji i poznawania preferencji użytkowników. Jest to idealne rozwiązanie w sytuacjach, gdzie masz kilka porównywalnych opcji i bardzo konkretne cele. Na przykład, A/B Testing jest odpowiednie w przypadku zmian, w których chcesz dostosować aplikację aby poprawić konkretną daną, np. sprawdzić, które umieszczenie banera reklamowego generuje więcej kliknięć.
Warto też połączyć wdrożenia Remote Config i A/B Testing w ramach ogólnej strategii: najpierw utwórz test A/B z ograniczoną liczbą użytkowników, aby określić wariant, który przynosi optymalne wyniki w przypadku kluczowych danych. Następnie, gdy A/B Testing wyłoni zwycięzcę, utwórz wdrożenie z tym wariantem. Monitoruj jego stabilność i kluczowe dane, stopniowo zwiększając liczbę użytkowników, którym jest on udostępniany. Gdy będziesz mieć pewność, że działa prawidłowo, wdróż go u 100% użytkowników.
Interpretowanie wyników wdrożenia
Po opublikowaniu wdrożenia wyniki powinny być widoczne niemal natychmiast.
Wyniki możesz wyświetlać na kilka sposobów w konsoli Firebase:
Na stronie DevOps i zaangażowanie > Zdalna konfiguracja > Parametry rozwiń parametr skonfigurowany na potrzeby wdrożenia, a pod wdrożeniem kliknij Wyświetl wyniki.
Na stronie DevOps i zaangażowanie > Zdalna konfiguracja > Wdrożenia kliknij nazwę wdrożenia.
Selektor aplikacji u góry strony DevOps i zaangażowanie > Zdalna konfiguracja > Wyniki umożliwia wybieranie widoków dla konkretnych aplikacji. Wyniki są podzielone na kilka sekcji:
- Sekcja Podsumowanie, w której widać skonfigurowany Procent wdrożenia i można wycofać zmiany lub edytować wdrożenie. Po rozwinięciu wyświetla Przegląd szczegółów konfiguracji wdrożenia i Historię zmian.
Sekcja Użytkownicy , w której widać liczbę unikalnych instalacji aplikacji, które pobrały szablon wdrożenia w tych grupach:
- Włączona: liczba instancji aplikacji, które spełniają warunek wdrożenia i pobrały wartość wdrożenia.
- Kontrolna: liczba instancji aplikacji, które spełniają warunek wdrożenia i pobrały niezmienioną wartość.
- Docelowa: szacunkowa łączna liczba instancji, które spełniają warunek ustawiony w wdrożeniu i powinny otrzymać wartość wdrożenia lub niezmienioną wartość.
Więcej informacji znajdziesz w artykule Informacje o członkostwie w grupie wdrożeniowej.
Sekcje Crashlytics i Analytics, w których widać dane porównawcze dla grup Włączona i Kontrolna. Zebrane dane możesz filtrować według tych kryteriów: Ostatnie 24 godziny, Od ostatniej publikacji lub Ostatnie 7 dni. Domyślnie wyświetlane są dane z ostatnich 24 godzin.
Crashlytics wyniki w przypadku wdrożeń
Możesz zobaczyć łączną liczbę awarii, błędów niekrytycznych i błędów ANR, które wystąpiły podczas wdrożenia. Każda kategoria wyników zawiera wykres słupkowy, który porównuje surowe sumy użytkowników z grup Włączona i Kontrolna , którzy spełnili warunek wdrożenia.
- Awarie: liczba i odsetek awarii oraz liczba unikalnych użytkowników, u których wystąpiły awarie w grupach Włączona i Kontrolna.
- Błędy niekrytyczne: liczba i odsetek błędów niekrytycznych oraz liczba unikalnych użytkowników, u których wystąpiły błędy niekrytyczne.
- Błędy ANR (tylko aplikacje na Androida): liczba i odsetek zdarzeń „Aplikacja nie odpowiada” oraz liczba unikalnych użytkowników, u których wystąpiło co najmniej 1 zdarzenie ANR.
Aby uzyskać bardziej szczegółowe informacje o awariach, kliknij Wyświetl więcej w Crashlytics. Otworzy się strona Crashlytics z aktywnym filtrem wdrożenia, którego wyniki były sprawdzane. Wyniki wdrożenia na stronie Crashlytics obejmują wszystkich użytkowników, którzy kiedykolwiek mieli kontakt z odpowiednim wariantem, czyli Włączonym lub Kontrolnym. Możesz wyświetlić awarie w grupie Kontrolna, awarie w grupie Włączona lub obie te grupy.
Google Analytics wyniki w przypadku wdrożeń
Sekcja wyników wdrożenia Google Analytics porównuje Analytics dane wszystkich użytkowników, którzy kiedykolwiek mieli kontakt z grupami Włączona lub Kontrolna , w szczegółach i w widokach wykresów. Dostępne są 3 dane:
- Łączne przychody: łączna kwota przychodów, w tym przychodów z reklam i przychodów z zakupów, w USD. Możesz filtrować wyniki, aby wyświetlać tylko przychody z reklam lub przychody z zakupów.
- Łączna liczba konwersji: łączna liczba wszystkich zdarzeń konwersji. Możesz filtrować wyniki według konwersji, którą chcesz wyróżnić.
- Łączny czas zaangażowania: łączny czas zaangażowania użytkowników w jeden z wariantów wdrożenia. Łączny czas zaangażowania jest wyświetlany w formacie GG:MM:SS. Na przykład 01:31:28. Wykres przedstawia dane z okresu wybranego nad sekcją Crashlytics.