Kiedy docierasz do użytkowników lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że robisz to dobrze. Testy A/B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji poprzez przetestowanie wariantów wiadomości na wybranych częściach Twojej bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsza retencja czy konwersja oferty, testy A/B mogą przeprowadzić analizę statystyczną w celu ustalenia, czy wariant wiadomości przewyższa poziom bazowy dla wybranego celu.
Aby przeprowadzić test A/B wariantów funkcji z wartością bazową, wykonaj następujące czynności:
- Stwórz swój eksperyment.
- Zweryfikuj swój eksperyment na urządzeniu testowym.
- Zarządzaj swoim eksperymentem.
Utwórz eksperyment
Eksperyment wykorzystujący funkcję Wiadomości w aplikacji Firebase umożliwia ocenę wielu wariantów pojedynczej wiadomości w aplikacji.
Zaloguj się do konsoli Firebase i sprawdź, czy Google Analytics jest włączone w Twoim projekcie, aby eksperyment miał dostęp do danych Analytics.
Jeśli nie włączyłeś Google Analytics podczas tworzenia projektu, możesz je włączyć na karcie Integracje , do której możesz uzyskać dostęp, wybierając > Ustawienia projektu w konsoli Firebase .
W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
Kliknij opcję Utwórz eksperyment , a następnie wybierz opcję Wiadomości w aplikacji po wyświetleniu monitu o usługę, z którą chcesz eksperymentować.
Ewentualnie na pasku nawigacyjnym konsoli Firebase rozwiń opcję Zaangażuj , a następnie kliknij opcję Wiadomości w aplikacji . Następnie kliknij Nowy eksperyment .
Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij przycisk Dalej .
Wypełnij pola Kierowanie , wybierając najpierw aplikację, która korzysta z Twojego eksperymentu. Możesz także kierować podzbiór użytkowników do udziału w eksperymencie, wybierając opcje, które obejmują:
- Wersja: co najmniej jedna wersja Twojej aplikacji
- Odbiorcy użytkowników: odbiorcy Analytics używani do kierowania reklam na użytkowników, którzy mogą zostać objęci eksperymentem
- Właściwość użytkownika: co najmniej jedna właściwość użytkownika Analytics służąca do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
- Kraj/region: jeden lub więcej krajów lub regionów służących do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
- Język urządzenia: jeden lub więcej języków i ustawień regionalnych używanych do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
- Pierwsze uruchomienie: kieruj reklamy na użytkowników na podstawie tego, kiedy po raz pierwszy otworzyli Twoją aplikację
- Ostatnie zaangażowanie w aplikację: kieruj reklamy na użytkowników na podstawie czasu ich ostatniego użycia w aplikacji
Ustaw procent użytkowników docelowych: wybierz odsetek użytkowników aplikacji spełniających kryteria określone w obszarze Docelowi użytkownicy , których chcesz równomiernie podzielić między poziom bazowy i jeden lub więcej wariantów w eksperymencie. Może to być dowolny procent z zakresu od 0,01% do 100%. Wartości procentowe są losowo przydzielane użytkownikom w każdym eksperymencie, w tym w przypadku zduplikowanych eksperymentów.
W sekcji Warianty skonfiguruj podstawową wiadomość w aplikacji do wysłania do grupy podstawowej przy użyciu interfejsu projektowania wiadomości używanego w zwykłej kampanii wiadomości w aplikacji.
Aby dodać wariant do eksperymentu, kliknij Dodaj wariant . Domyślnie eksperymenty mają jedną linię bazową i jeden wariant.
(opcjonalnie) Wprowadź nazwę dla każdego wariantu w eksperymencie, aby zastąpić nazwy Wariant A , Wariant B itd.
(opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty , aby porównać jeszcze jeden wariant wiadomości obok wiadomości bazowej.
Zdefiniuj dane celu dla swojego eksperymentu, które będą używane podczas oceny wariantów eksperymentu, wraz z dowolnymi dodatkowymi danymi z listy rozwijanej. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.
Skonfiguruj harmonogram eksperymentu:
- Ustaw datę rozpoczęcia i zakończenia eksperymentu.
- Ustaw sposób wyzwalania wiadomości w aplikacji we wszystkich wariantach.
Kliknij Przejrzyj , aby zapisać eksperyment.
Dozwolone jest maksymalnie 300 eksperymentów na projekt, który może składać się z maksymalnie 24 uruchomionych eksperymentów, a reszta to wersja robocza lub zakończona.
Zweryfikuj swój eksperyment na urządzeniu testowym
Dla każdej instalacji Firebase możesz pobrać powiązany z nią token autoryzacji instalacji. Możesz użyć tego tokena do przetestowania określonych wariantów eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:
- Uzyskaj token autoryzacji instalacji w następujący sposób:
Szybki
Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in if let error = error { print("Error fetching token: \(error)") return } guard let result = result else { return } print("Installation auth token: \(result.authToken)") })Cel C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });Kotlin+KTX
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } } - Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
- Kliknij Wersja robocza (i/lub Uruchomiona w przypadku eksperymentów zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe ( more_vert ), a następnie kliknij Zarządzaj urządzeniami testowymi .
- Wprowadź token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu do wysłania na to urządzenie testowe.
- Uruchom aplikację i potwierdź, że wybrany wariant jest odbierany na urządzeniu testowym.
Aby dowiedzieć się więcej o instalacjach Firebase, zobacz Zarządzanie instalacjami Firebase .
Zarządzaj swoim eksperymentem
Niezależnie od tego, czy tworzysz eksperyment za pomocą Zdalnej konfiguracji, narzędzia do tworzenia powiadomień czy usługi Firebase In-App Messaging, możesz zweryfikować i rozpocząć eksperyment, monitorować go w trakcie jego trwania oraz zwiększyć liczbę użytkowników objętych bieżącym eksperymentem.
Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie udostępnić te ustawienia wszystkim użytkownikom. Możesz też przeprowadzić inny eksperyment.
Rozpocznij eksperyment
- W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
- Kliknij opcję Wersja robocza , a następnie kliknij tytuł eksperymentu.
- Aby zweryfikować, czy Twoja aplikacja ma użytkowników, którzy mogliby zostać objęci eksperymentem, rozwiń szczegóły wersji roboczej i sprawdź, czy w sekcji Kierowanie i dystrybucja jest liczba większa niż 0% (na przykład 1% użytkowników spełniających kryteria ).
- Aby zmienić eksperyment, kliknij Edytuj .
- Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment . Możesz uruchomić do 24 eksperymentów na projekt na raz.
Monitoruj eksperyment
Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają Twoje wyniki dla użytkowników, którzy do tej pory uczestniczyli w eksperymencie.
- W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
Kliknij Uruchomione , a następnie kliknij lub wyszukaj tytuł swojego eksperymentu. Na tej stronie możesz przeglądać różne obserwowane i modelowane statystyki dotyczące prowadzonego eksperymentu, w tym następujące:
- % różnicy od wartości bazowej : miara poprawy metryki dla danego wariantu w porównaniu z wartością bazową. Obliczone przez porównanie zakresu wartości dla wariantu z zakresem wartości dla linii bazowej.
- Prawdopodobieństwo przekroczenia linii bazowej : szacowane prawdopodobieństwo, że dany wariant przekroczy linię bazową dla wybranych danych.
- observed_metric na użytkownika : na podstawie wyników eksperymentu jest to przewidywany zakres, w jakim wartość metryki będzie się mieścić w czasie.
- Całkowita observed_metric : Obserwowana skumulowana wartość dla linii bazowej lub wariantu. Wartość służy do mierzenia skuteczności każdego wariantu eksperymentu i służy do obliczania poprawy , zakresu wartości , prawdopodobieństwa przekroczenia linii bazowej i prawdopodobieństwa bycia najlepszym wariantem . W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
Po pewnym czasie trwania eksperymentu (co najmniej 7 dni w przypadku FCM i wiadomości w aplikacji lub 14 dni w przypadku zdalnej konfiguracji) dane na tej stronie wskazują, który wariant jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formacie wizualnym.
Przeprowadź eksperyment dla wszystkich użytkowników
Gdy eksperyment potrwa wystarczająco długo, aby mieć „lidera” lub zwycięski wariant dla danych celu, możesz wdrożyć eksperyment dla 100% użytkowników. Pozwala to wybrać wariant do opublikowania dla wszystkich użytkowników w przyszłości. Nawet jeśli Twój eksperyment nie wyłonił wyraźnego zwycięzcy, nadal możesz zdecydować się na udostępnienie wariantu wszystkim użytkownikom.
- W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
- Kliknij Zakończone lub Uruchomione , kliknij eksperyment, który chcesz wdrożyć dla wszystkich użytkowników, kliknij menu kontekstowe ( more_vert ), a następnie kliknij Wdrożenie wariantu .
Przeprowadź eksperyment dla wszystkich użytkowników, wykonując jedną z następujących czynności:
- W przypadku eksperymentu korzystającego z narzędzia do tworzenia powiadomień użyj okna dialogowego Rozpocznij wiadomość , aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie uczestniczyli w eksperymencie.
- W przypadku eksperymentu zdalnej konfiguracji wybierz wariant, aby określić, które wartości parametrów zdalnej konfiguracji mają zostać zaktualizowane. Kryteria kierowania określone podczas tworzenia eksperymentu zostaną dodane jako nowy warunek w Twoim szablonie, aby wdrożenie miało wpływ tylko na użytkowników docelowych eksperymentu. Po kliknięciu Przejrzyj w Zdalnej konfiguracji , aby przejrzeć zmiany, kliknij Opublikuj zmiany , aby zakończyć wdrażanie.
- W przypadku eksperymentu z wiadomościami w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię z wiadomościami w aplikacji. Po wybraniu zostaniesz przekierowany do ekranu redagowania FIAM, aby wprowadzić zmiany (jeśli są wymagane) przed opublikowaniem.
Rozwiń eksperyment
Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby testy A/B mogły wskazać lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego procentu bazy użytkowników aplikacji.
- W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
- Wybierz aktywny eksperyment, który chcesz edytować.
- W Przeglądzie eksperymentu kliknij menu kontekstowe ( more_vert ), a następnie kliknij Edytuj bieżący eksperyment .
- W oknie dialogowym Kierowanie wyświetlana jest opcja zwiększenia odsetka użytkowników biorących udział w aktualnie uruchomionym eksperymencie. Wybierz liczbę większą niż bieżący procent i kliknij Publikuj . Eksperyment zostanie wypchnięty do określonego przez Ciebie odsetka użytkowników.
Zduplikuj lub zatrzymaj eksperyment
- W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
- Kliknij Zakończone lub Uruchomione , najedź kursorem na eksperyment, kliknij menu kontekstowe ( more_vert ), a następnie kliknij Powiel eksperyment lub Zatrzymaj eksperyment .
Kierowanie na użytkownika
Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z poniższych kryteriów kierowania na użytkowników.
| Kryterium kierowania | Operator(zy) | Wartość(e) | Notatka |
|---|---|---|---|
| Wersja | zawiera, nie zawiera, pasuje dokładnie, zawiera wyrażenie regularne | Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymencie. | Używając dowolnego z operatorów zawiera , nie zawiera lub dokładnie dopasowuje , możesz podać listę wartości oddzielonych przecinkami. Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego. |
| Odbiorcy użytkowników | obejmuje wszystkie, obejmuje co najmniej jeden z nie obejmuje wszystkich, nie obejmuje co najmniej jednego z | Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać objęci eksperymentem. | Gromadzenie danych w przypadku niektórych eksperymentów kierowanych na odbiorców Google Analytics może zająć kilka dni, ponieważ są one narażone na opóźnienia w przetwarzaniu danych Analytics . To opóźnienie jest najbardziej prawdopodobne w przypadku nowych użytkowników, którzy są zwykle zapisywani do kwalifikujących się odbiorców 24-48 godzin po utworzeniu lub w przypadku niedawno utworzonych list odbiorców . |
| Właściwość użytkownika | dla tekstu: zawiera, nie zawiera, dokładnie pasuje, zawiera wyrażenie regularne Dla liczb: <, ≤, =, ≥, > | Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać włączeni do eksperymentu, wraz z szeregiem opcji wyboru wartości właściwości użytkownika. Na kliencie można ustawić tylko wartości ciągu dla właściwości użytkownika. W przypadku warunków korzystających z operatorów numerycznych usługa Remote Config konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową. | Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego. |
| Kraj/region | Nie dotyczy | Jeden lub więcej krajów lub regionów użytych do wybrania użytkowników, którzy mogą zostać objęci eksperymentem. | |
| Języki | Nie dotyczy | Jeden lub więcej języków i ustawień regionalnych użytych do wybrania użytkowników, którzy mogą zostać objęci eksperymentem. | |
| Pierwszy otwarty | Więcej niż Mniej niż Między | Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia Twojej aplikacji (w dniach). | |
| Ostatnie zaangażowanie w aplikację | Więcej niż Mniej niż Między | Kieruj reklamy na użytkowników na podstawie czasu ich ostatniej interakcji z Twoją aplikacją, określonego w dniach. |
Metryki testów A/B
Tworząc eksperyment, wybierasz podstawowe lub docelowe dane, które są używane do określenia zwycięskiego wariantu. Powinieneś także śledzić inne dane, aby lepiej zrozumieć skuteczność każdego wariantu eksperymentu i śledzić ważne trendy, które mogą się różnić dla każdego wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W swoim eksperymencie możesz śledzić maksymalnie pięć wskaźników niezwiązanych z celem.
Załóżmy na przykład, że dodałeś do swojej aplikacji nowe zakupy i chcesz porównać skuteczność dwóch różnych komunikatów zachęcających. W takim przypadku możesz zdecydować się na ustawienie Przychodu z zakupów jako miernika celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które przyniosło najwyższy przychód z zakupów w aplikacji. A ponieważ chcesz też śledzić, który wariant doprowadził do większej liczby przyszłych konwersji i utrzymania użytkowników, możesz dodać następujące dane w sekcji Inne dane do śledzenia :- Szacunkowy całkowity przychód , aby zobaczyć, jak łączne przychody z zakupów w aplikacji i reklam różnią się między tymi dwoma wariantami
- Retencja (1 dzień) , Retencja (2-3 dni) , Retencja (4-7 dni) do śledzenia dziennego/tygodniowego utrzymania użytkownika
Poniższe tabele zawierają szczegółowe informacje na temat sposobu obliczania metryk celu i innych metryk.
Metryki celu
| Metryczny | Opis |
|---|---|
| Użytkownicy bez awarii | Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji wykrytych przez pakiet Firebase Crashlytics SDK podczas eksperymentu. |
| Szacunkowe przychody z reklam | Szacunkowe zarobki z reklam. |
| Szacowany całkowity przychód | Łączna wartość zakupu i szacowane przychody z reklam. |
| Przychody z zakupów | Łączna wartość dla wszystkich zdarzeń purchase i in_app_purchase . |
| Retencja (1 dzień) | Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji. |
| Retencja (2-3 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2-3 dni. |
| Retencja (4-7 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4-7 dni. |
| Retencja (8-14 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 8-14 dni. |
| Przechowywanie (ponad 15 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji po 15 lub więcej dniach od ostatniego użycia. |
| pierwszy_otwarty | Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownej instalacji. Używany jako część ścieżki konwersji. |
Inne wskaźniki
| Metryczny | Opis |
|---|---|
| powiadomienie_odrzucić | Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez twórcę powiadomień zostanie odrzucone (tylko Android). |
| powiadomienie_odbiór | Zdarzenie Analytics, które jest wyzwalane po odebraniu powiadomienia wysłanego przez twórcę powiadomień, gdy aplikacja działa w tle (tylko Android). |
| os_update | Zdarzenie Analytics, które śledzi aktualizację systemu operacyjnego urządzenia do nowej wersji. Aby dowiedzieć się więcej, zobacz Zdarzenia gromadzone automatycznie . |
| widok_ekranu | Zdarzenie Analytics, które śledzi ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Śledzenie wyświetleń ekranu . |
| rozpoczęcie_sesji | Zdarzenie Analytics, które zlicza sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Zdarzenia gromadzone automatycznie . |