Gdy chcesz dotrzeć do użytkowników lub rozpocząć nową kampanię marketingową, musisz mieć pewność, że wszystko pójdzie zgodnie z planem. Testy A/B mogą Ci pomóc znaleźć optymalne brzmienie i prezentację, ponieważ pozwalają testować warianty wiadomości na wybranych grupach użytkowników. Niezależnie od tego, czy Twoim celem jest większa retencja czy konwersja po prezentacji oferty, test A/B może przeprowadzić analizę statystyczną, aby określić, czy wariant komunikatu osiąga lepsze wyniki niż wartość docelowa w przypadku wybranego celu.
Aby przeprowadzić test A/B wariantów funkcji z wartością odniesienia:
- Utwórz eksperyment.
- Sprawdź eksperyment na urządzeniu testowym.
- Zarządzaj eksperymentem.
Utwórz eksperyment
Eksperyment, który używa Firebase In-App Messaging, umożliwia ocenę wielu wariantów pojedynczej wiadomości w aplikacji.
Zaloguj się w konsoli Firebase i sprawdź, czy w Twoim projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.
Jeśli podczas tworzenia projektu nie włączysz usługi Google Analytics, możesz ją włączyć na karcie Integracje, do której możesz przejść, klikając > Ustawienia projektu w Firebase konsoli.
W sekcji Zaangażuj w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
Gdy pojawi się prośba o wybranie usługi, w której chcesz przeprowadzić eksperyment, kliknij kolejno Utwórz eksperyment i Wiadomości w aplikacji.
Możesz też w menu nawigacyjnym konsoli Firebase rozwinąć sekcję Zaangażuj, a potem kliknąć In-App Messaging. Następnie kliknij Nowy eksperyment.
Wpisz nazwę i opcjonalnie opis eksperymentu, a potem kliknij Dalej.
Wypełnij pola Kierowanie, najpierw wybierając aplikację, która korzysta z eksperymentu. Możesz też kierować eksperyment na podzbiór użytkowników, wybierając opcje, takie jak:
- Wersja: co najmniej 1 wersja aplikacji.
- Lista odbiorców: Analytics listy odbiorców służące do kierowania reklam na użytkowników, którzy mogą brać udział w eksperymencie.
- Właściwość użytkownika: co najmniej 1 właściwość użytkownika Analytics do wybierania użytkowników, którzy mogą być uwzględnieni w eksperymencie.
- Kraj/region: co najmniej 1 kraj lub region, w którym chcesz wybrać użytkowników, którzy mogą wziąć udział w eksperymencie.
- Język urządzenia: co najmniej 1 język i region, które służą do wybierania użytkowników, którzy mogą wziąć udział w eksperymencie.
- Pierwsze uruchomienie:kieruj reklamy na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację.
- Ostatnie zaangażowanie w aplikację:kieruj reklamy na użytkowników na podstawie tego, kiedy ostatni raz weszli oni w interakcję z Twoją aplikacją.
Ustaw Odsetek użytkowników docelowych: wybierz odsetek użytkowników aplikacji, którzy spełniają kryteria określone w sekcji Użytkownicy docelowi, i których chcesz równomiernie rozdzielić między grupę podstawową a co najmniej 1 wariantem w eksperymencie. Może ona wynosić dowolną wartość procentową z zakresu 0,01–100%. Odsetki są losowo przypisywane do użytkowników w ramach każdego eksperymentu, w tym eksperymentów powielonych.
W sekcji Warianty skonfiguruj podstawowy komunikat w aplikacji, który będzie wysyłany do grupy podstawowej za pomocą interfejsu do projektowania wiadomości, którego używasz w ramach zwykłej kampanii z wiadomościami w aplikacji.
Aby dodać wariant do eksperymentu, kliknij Dodaj wariant. Domyślnie eksperymenty mają 1 wartość bazową i 1 wariant.
(Opcjonalnie) Wpisz bardziej opisową nazwę dla każdego wariantu.
(Opcjonalnie) U góry sekcji Wersje kliknij przycisk Porównaj wersje, aby porównać jeszcze jedną wersję wiadomości z wersją podstawową.
Określ dane docelowe eksperymentu, które mają być używane podczas oceny wariantów eksperymentu, oraz dodatkowe dane z listy, których chcesz używać. Do tych danych należą wbudowane cele (zaangażowanie, zakupy, przychody, retencja itp.), Analytics zdarzeń konwersji i innych zdarzeń Analytics.
Skonfiguruj harmonogram eksperymentu:
- Ustaw datę rozpoczęcia i zakończenia eksperymentu.
- Ustaw sposób uruchamiania wiadomości w aplikacji we wszystkich wariantach.
Aby zapisać eksperyment, kliknij Sprawdź.
Możesz utworzyć maksymalnie 300 eksperymentów na projekt, z których maksymalnie 24 może być aktywnych, a pozostałe mogą być w wersji roboczej lub ukończone.
Weryfikowanie eksperymentu na urządzeniu testowym
W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniający. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym:
- Aby uzyskać token uwierzytelniający instalację:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
- Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
- Kliknij Wersja robocza (lub Aktywny w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe (more_vert), a potem wybierz Zarządzaj urządzeniami testowymi.
- Wpisz token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie.
- Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.
Więcej informacji o instalacjach Firebase znajdziesz w artykule Zarządzanie instalacjami Firebase.
Zarządzanie eksperymentem
Niezależnie od tego, czy eksperyment został utworzony za pomocą Remote Config, narzędzia do tworzenia powiadomień czy Firebase In-App Messaging, możesz go zweryfikować i rozpocząć, a także monitorować w trakcie jego trwania i zwiększać liczbę użytkowników uwzględnionych w eksperymencie.
Po zakończeniu eksperymentu możesz zapisać ustawienia używane przez najlepszy wariant, a potem wdrożyć je dla wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.
Rozpocznij eksperyment
- W sekcji Zaangażuj w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
- Kliknij kolejno Wersja robocza i tytuł eksperymentu.
- Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaną uwzględnieni w eksperymencie, rozwiń szczegóły wersji próbnej i sprawdź, czy w sekcji Targetowanie i dystrybucja znajduje się liczba większa niż 0% (np. 1% użytkowników spełniających kryteria).
- Aby zmienić eksperyment, kliknij Edytuj.
- Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz przeprowadzać maksymalnie 24 eksperymenty na projekt jednocześnie.
Monitorowanie eksperymentu
Po pewnym czasie działania eksperymentu możesz sprawdzić jego postępy i zobaczyć, jak wyglądają wyniki w przypadku użytkowników, którzy do tej pory brali udział w eksperymencie.
- W sekcji Zaangażuj w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
Kliknij W toku, a następnie kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie możesz wyświetlać różne obserwowane i modelowane statystyki dotyczące trwającego eksperymentu, w tym:
- % różnicy wobec punktu odniesienia: miara poprawy danej wartości w przypadku danego wariantu w porównaniu z wartością podstawową. Obliczany przez porównanie zakresu wartości wariantu z zakresem wartości poziomu odniesienia.
- Prawdopodobieństwo przekroczenia wartości podstawowej: szacowane prawdopodobieństwo, że dany wariant osiągnie lepsze wyniki niż punkt odniesienia w przypadku wybranych danych.
- observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym będzie się mieścić wartość danych w ciągu czasu.
- Łączna observed_metric: obserwowana wartość skumulowana dla wartości bazowej lub wariantu. Wartość ta służy do pomiaru skuteczności poszczególnych wersji eksperymentu i obliczania poprawy, zakresu wartości, prawdopodobieństwo pokonania punktu odniesienia oraz prawdopodobieństwo, że dana wersja będzie najlepsza. W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
Gdy eksperyment będzie trwał już jakiś czas (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config), dane na tej stronie wskazują, który wariant (jeśli w ogóle jakiś jest) jest „liderem”. Niektóre pomiary są uzupełnione wykresem słupkowym, który przedstawia dane w formie wizualnej.
Wdrażanie eksperymentu dla wszystkich użytkowników
Gdy eksperyment będzie trwał wystarczająco długo, aby zidentyfikować „lidera” lub najlepszy wariant na podstawie danych związanych z realizacją celu, możesz wdrożyć eksperyment dla wszystkich użytkowników. Dzięki temu możesz wybrać wariant, który będzie publikowany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłonił odmiany wyraźnie lepszej pod względem wybranego przez Ciebie wskaźnika skuteczności, możesz nadal udostępnić wariant wszystkim użytkownikom.
- W sekcji Zaangażuj w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
- Kliknij Ukończono lub Trwa, wybierz eksperyment, który chcesz udostępnić wszystkim użytkownikom, kliknij menu kontekstowe () Wdróż wariant.
Aby wdrożyć eksperyment dla wszystkich użytkowników, wykonaj jedną z tych czynności:
- W przypadku eksperymentu, który korzysta z edytowanego edytora powiadomień, użyj okna Wprowadź wiadomość, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
- W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które wartości parametru Remote Config chcesz zmienić. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu są dodawane jako nowy warunek w szablonie, aby zapewnić, że wdrożenie będzie dotyczyć tylko użytkowników docelowych eksperymentu. Po kliknięciu Sprawdź w konfiguracji zdalnej, aby sprawdzić zmiany, kliknij Opublikuj zmiany, aby ukończyć wdrażanie.
- W przypadku eksperymentu In-App Messaging użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię In-App Messaging. Po wybraniu opcji nastąpi przekierowanie do ekranu tworzenia FIAM, na którym można wprowadzić zmiany (jeśli są wymagane) przed opublikowaniem.
Rozszerzanie eksperymentu
Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testingmogło wyłonić zwycięzcę, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.
- W sekcji Zaangażuj w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
- Wybierz trwający eksperyment, który chcesz edytować.
- Na stronie Podsumowanie eksperymentu kliknij menu kontekstowe (), a potem kliknij Edytuj trwający eksperyment.
- W oknie Kierowanie wyświetla się opcja zwiększenia odsetka użytkowników, którzy biorą udział w eksperymencie. Wybierz liczbę większą niż bieżący odsetek i kliknij Opublikuj. Eksperyment zostanie wdrożony wśród wskazanego przez Ciebie odsetka użytkowników.
Duplikat eksperymentu lub jego zatrzymanie
- W sekcji Zaangażuj w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
- Kliknij Ukończony lub Uruchomiony, najedź kursorem na eksperyment, kliknij menu kontekstowe (), a następnie Duplikuj eksperyment lub Zatrzymaj eksperyment.
Kierowanie na użytkowników
Użytkowników, których chcesz uwzględnić w eksperymencie, możesz kierować za pomocą tych kryteriów kierowania na użytkowników.
| Kryterium kierowania | Operatorzy | Wartości | Uwaga |
|---|---|---|---|
| Wersja | zawiera,
nie zawiera, pasuje dokładnie, zawiera wyrażenie regularne |
Wpisz wartość dla co najmniej 1 wersji aplikacji, którą chcesz uwzględnić w eksperymencie. |
Gdy używasz operatorów zawiera, nie zawiera lub pasuje dokładnie, możesz podać listę wartości rozdzielanych przecinkami. Korzystając z operatora contains regex, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków. Możesz też użyć zakotwiczenia ^ i $, aby dopasować początek, koniec lub cały ciąg docelowy. |
| Odbiorcy | zawiera wszystkie,
zawiera co najmniej jeden z, nie zawiera wszystkich, nie zawiera co najmniej jednego z |
Wybierz co najmniej 1 listę odbiorców Analytics, na którą chcesz kierować reklamy, aby docierać do użytkowników, którzy mogą być uwzględnieni w eksperymencie. | Niektóre eksperymenty kierowane do odbiorców Google Analytics mogą wymagać kilku dni na gromadzenie danych, ponieważ są one uzależnione od Analytics opóźnienia przetwarzania danych. Najprawdopodobniej opóźnienie to wystąpi w przypadku nowych użytkowników, którzy są zwykle dołączani do odpowiednich list odbiorców w ciągu 24–48 godzin od ich utworzenia, lub w przypadku niedawno utworzonych list odbiorców. |
| Właściwość użytkownika | W przypadku tekstu:
contains, does not contain, exactly matches, contains regex W przypadku liczb: <, ≤, =, ≥, > |
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą być uwzględnieni w eksperymencie. Dostępne są różne opcje wybierania wartości właściwości użytkownika.
Na kliencie możesz ustawiać tylko wartości ciągu znaków w przypadku właściwości użytkownika. W przypadku warunków, które używają operatorów liczbowych, usługa Remote Config zamienia wartość odpowiedniej właściwości użytkownika na liczbę całkowitą lub zmiennoprzecinkową. |
Korzystając z operatora contains regex, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków. Możesz też użyć zakotwiczenia ^ i $, aby dopasować początek, koniec lub cały ciąg docelowy. |
| Kraj/region | Nie dotyczy | Jeden lub więcej krajów lub regionów służących do wyboru użytkowników, którzy mogą zostać objęci eksperymentem. | |
| Języki | Nie dotyczy | Jeden lub więcej języków i regionów służących do wybierania użytkowników, którzy mogą wziąć udział w eksperymencie. | |
| Pierwsze uruchomienie |
Więcej niż
Mniej niż Pomiędzy |
Kieruj na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację, podany w dniach. | |
| Ostatnia interakcja z aplikacją |
Więcej niż
Mniej niż Pomiędzy |
Kieruj na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją (określone w dniach). |
A/B Testing wskaźnika
Podczas tworzenia eksperymentu wybierasz podstawowy wskaźnik, czyli cel, który służy do określenia zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej zrozumieć skuteczność poszczególnych wariantów eksperymentu, a także ważne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 wskaźników innych niż cele.
Załóżmy na przykład, że dodasz do swojej aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność 2 różnych komunikatów zachęcających. W takim przypadku możesz ustawić jako dane docelowe Przychody z zakupów, ponieważ chcesz, aby wariant zwycięski reprezentował powiadomienie, które przyniosło najwyższe przychody z zakupów w aplikacji. Ponieważ chcesz też śledzić, który wariant spowodował więcej przyszłych konwersji i utrzymał użytkowników, możesz w sekcji Inne dane do śledzenia dodać te dane:- Szacunkowe łączne przychody, aby sprawdzić, jak różnią się łączne przychody z zakupów w aplikacji i z reklam w przypadku 2 wariantów.
- Utrzymanie (1 dzień), Utrzymanie (2–3 dni) i Utrzymanie (4–7 dni), aby śledzić dzienne/tygodniowe utrzymanie użytkowników.
W tabeli poniżej znajdziesz szczegółowe informacje o sposobie obliczania danych dotyczących celów i innych danych.
Dane celów
| Dane | Opis |
|---|---|
| Użytkownicy, u których nie wystąpił błąd | Odsetek użytkowników, którzy nie napotkali w Twojej aplikacji błędów wykrytych przez pakiet SDK Firebase Crashlytics podczas eksperymentu. |
| Szacunkowe przychody z reklam | Szacunkowe zarobki z reklam. |
| Szacunkowe łączne przychody | Łączna wartość zakupu i szacowanych przychodów z reklam. |
| Przychody z zakupów | Łączna wartość wszystkich zdarzeń purchase i in_app_purchase.
|
| Utrzymanie użytkowników (1 dzień) | Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji. |
| Utrzymanie (2–3 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2–3 dni. |
| Utrzymanie (4–7 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4–7 dni. |
| Utrzymanie (8–14 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 8–14 dni. |
| Utrzymanie użytkowników (15 dni lub więcej) | Liczba użytkowników, którzy wrócili do aplikacji po co najmniej 15 dniach od ostatniego jej użycia. |
| first_open | Zdarzenie Analytics, które uruchamia się, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używany w ramach ścieżki konwersji. |
Inne wskaźniki
| Dane | Opis |
|---|---|
| notification_dismiss | Analytics zdarzenie, które uruchamia się, gdy użytkownik odrzuci powiadomienie wysłane przez edytor powiadomień (tylko na Androidzie). |
| notification_receive | Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez kreatora powiadomień zostanie odebrane, gdy aplikacja działa w tle (tylko na Androidzie). |
| os_update | Zdarzenie Analytics, które śledzi, kiedy system operacyjny urządzenia jest aktualizowany do nowej wersji.Więcej informacji znajdziesz w sekcji Zdarzenia zbierane automatycznie. |
| screen_view | Zdarzenie Analytics, które śledzi wyświetlenia ekranów w aplikacji. Więcej informacji znajdziesz w sekcji Śledzenie wyświetleń ekranu. |
| session_start | Zdarzenie Analytics, które zlicza sesje użytkowników w aplikacji. Więcej informacji znajdziesz w sekcji Zdarzenia zbierane automatycznie. |