Gdy kontaktujesz się z użytkownikami lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że wszystko pójdzie dobrze. Testy A/B mogą pomóc Ci znaleźć optymalne sformułowania i sposób prezentacji, ponieważ umożliwiają testowanie wariantów wiadomości na wybranych grupach użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie użytkowników, czy konwersja w ramach oferty, testy A/B mogą przeprowadzić analizę statystyczną, aby określić, czy dany wariant wiadomości jest skuteczniejszy niż wersja podstawowa w przypadku wybranego celu.
Aby przeprowadzić testy A/B wariantów funkcji z wariantem bazowym:
- Utwórz eksperyment.
- Sprawdź eksperyment na urządzeniu testowym.
- Zarządzaj eksperymentem.
Utwórz eksperyment
Eksperyment, który korzysta z Firebase In-App Messaging, pozwala ocenić wiele wariantów jednej wiadomości w aplikacji.
Sprawdź, czy w projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.
Jeśli podczas tworzenia projektu nie włączono Google Analytics, możesz to zrobić na karcie
Ustawienia > Integracje w konsoli Firebase.W konsoli Firebase rozpocznij eksperyment Firebase In-App Messaging, korzystając z jednej z tych opcji:
Z A/B Testing:
Kliknij DevOps i zaangażowanie > Testy A/B.
Kliknij Utwórz eksperyment, a gdy pojawi się prośba o wybranie usługi, którą chcesz przetestować, wybierz In-App Messaging.
Z In-App Messaging:
Kliknij DevOps i zaangażowanie > Komunikacja.
Kliknij kolejno In-App Messaging i Nowy eksperyment.
Wpisz nazwę i opcjonalny opis eksperymentu, a następnie kliknij Dalej.
Wypełnij pola Kierowanie, najpierw wybierając aplikację, która korzysta z eksperymentu. Możesz też wybrać podzbiór użytkowników, którzy wezmą udział w eksperymencie, wybierając opcje, które obejmują:
- Wersja:co najmniej 1 wersja aplikacji.
- Grupa odbiorców: Analytics listy odbiorców używane do kierowania na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
- Właściwość użytkownika: co najmniej 1 właściwość użytkownika Analytics do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
- Kraj/region: co najmniej 1 kraj lub region, w którym chcesz wybrać użytkowników do eksperymentu.
- Język urządzenia: co najmniej 1 język i region używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
- Pierwsze uruchomienie:kieruj reklamy na użytkowników na podstawie daty pierwszego uruchomienia aplikacji.
- Ostatnie zaangażowanie w aplikację:kieruj reklamy na użytkowników na podstawie czasu, jaki upłynął od ich ostatniej interakcji z aplikacją.
Ustaw Odsetek użytkowników docelowych:wybierz odsetek użytkowników aplikacji spełniających kryteria określone w sekcji Użytkownicy docelowi, który chcesz równomiernie podzielić między grupę bazową i co najmniej 1 grupę wariantową w eksperymencie. Może to być dowolna wartość procentowa z zakresu od 0,01% do 100%. Wartości procentowe są losowo przypisywane użytkownikom w każdym eksperymencie, w tym w eksperymentach powielonych.
W sekcji Warianty skonfiguruj podstawową wiadomość w aplikacji, która ma być wysyłana do grupy podstawowej, korzystając z interfejsu projektowania wiadomości, którego używasz w przypadku zwykłej kampanii z wiadomościami w aplikacji.
Aby dodać wariant do eksperymentu, kliknij Dodaj wariant. Domyślnie eksperymenty mają 1 element bazowy i 1 wariant.
(Opcjonalnie) Wpisz bardziej opisową nazwę każdego wariantu.
(Opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty, aby porównać co najmniej 1 wariant wiadomości z wiadomością bazową.
Zdefiniuj dane celu, które będą używane podczas oceny wariantów eksperymentu, oraz wszelkie dodatkowe dane z listy, których chcesz użyć. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie użytkowników itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.
Skonfiguruj harmonogram eksperymentu:
- Ustaw datę rozpoczęcia i datę zakończenia eksperymentu.
- Ustaw sposób aktywowania wiadomości w aplikacji we wszystkich wariantach.
Aby zapisać eksperyment, kliknij Sprawdź.
W każdym projekcie możesz mieć maksymalnie 300 eksperymentów (w tym wdrożeń), z czego 24 mogą być aktywne, a pozostałe muszą być zakończone.
Sprawdzanie eksperymentu na urządzeniu testowym
W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniania instalacji. Możesz użyć tego tokena do przetestowania konkretnych wariantów eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby sprawdzić eksperyment na urządzeniu testowym:
- Uzyskaj token uwierzytelniania instalacji w ten sposób:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
Sieć
import { getInstallations, getToken } from "firebase/installations"; const installations = getInstallations(app); const installationAuthToken = getToken(installations);
- W konsoli Firebase kliknij DevOps i zaangażowanie > Testy A/B.
- Kliknij Wersja robocza (lub Uruchomione w przypadku eksperymentów w Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe (more_vert), a następnie kliknij Zarządzaj urządzeniami testowymi.
- Wpisz token uwierzytelniania instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie.
- Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.
Więcej informacji o instalacjach Firebase znajdziesz w artykule Zarządzanie instalacjami Firebase.
Zarządzanie eksperymentem
Niezależnie od tego, czy utworzysz eksperyment za pomocą Remote Config, Kreatora powiadomień czy Firebase In-App Messaging, możesz go zweryfikować i rozpocząć, monitorować jego przebieg oraz zwiększyć liczbę użytkowników, którzy biorą w nim udział.
Po zakończeniu eksperymentu możesz sprawdzić ustawienia używane przez zwycięski wariant, a następnie wdrożyć je dla wszystkich użytkowników. Możesz też przeprowadzić kolejny eksperyment.
Rozpocznij eksperyment
- W konsoli Firebase kliknij DevOps & Engagement > Testy A/B.
- Kliknij Wersja robocza, a potem tytuł eksperymentu.
- Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaną uwzględnieni w eksperymencie, rozwiń szczegóły wersji roboczej i upewnij się, że w sekcji Kierowanie i dystrybucja jest liczba większa niż 0% (np. 1% użytkowników spełniających kryteria).
- Aby zmienić eksperyment, kliknij Edytuj.
- Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. W danym momencie możesz przeprowadzać maksymalnie 24 eksperymenty na projekt.
Monitorowanie eksperymentu
Po pewnym czasie działania eksperymentu możesz sprawdzić jego postępy i zobaczyć, jakie wyniki uzyskali użytkownicy, którzy do tej pory wzięli w nim udział.
- W konsoli Firebase kliknij DevOps i zaangażowanie > Testy A/B.
Kliknij Uruchomione, a następnie kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie możesz wyświetlić różne odnotowane i modelowane statystyki dotyczące trwającego eksperymentu, m.in.:
- Różnica procentowa w stosunku do wartości bazowej: miara poprawy wartości danych w przypadku danego wariantu w porównaniu z wartością bazową. Obliczana przez porównanie zakresu wartości dla wariantu z zakresem wartości dla wersji bazowej.
- Prawdopodobieństwo przekroczenia wartości podstawowej: szacowane prawdopodobieństwo, że dany wariant przekroczy wartość podstawową dla wybranych danych.
- observed_metric na użytkownika: na podstawie wyników eksperymentu jest to prognozowany zakres, w którym z czasem będzie się mieścić wartość danych.
- Łącznie observed_metric: zaobserwowana skumulowana wartość dla grupy bazowej lub wariantu. Wartość ta służy do pomiaru skuteczności każdego wariantu eksperymentu oraz do obliczania Ulepszenia, Zakresu wartości, Prawdopodobieństwa przekroczenia wartości podstawowej i Prawdopodobieństwa, że dany wariant jest najlepszy. W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
Po pewnym czasie od rozpoczęcia eksperymentu (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config) dane na tej stronie wskażą, który wariant jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formie wizualnej.
Wdrażanie eksperymentu dla wszystkich użytkowników
Gdy eksperyment będzie trwał wystarczająco długo, aby można było wyłonić najlepszy wariant umożliwiający realizację Twojego celu, możesz wdrożyć eksperyment dla wszystkich użytkowników. Oznacza to, że możesz wybrać wariant, który będzie wyświetlany wszystkim użytkownikom. Możesz to zrobić także w przypadku, gdy eksperyment nie wyłoni zdecydowanego zwycięzcy.
- W konsoli Firebase kliknij DevOps & Engagement > Testy A/B.
- Kliknij Zakończone lub Trwające, wybierz eksperyment, który chcesz udostępnić wszystkim użytkownikom, a następnie kliknij menu kontekstowe () Wdróż wariant.
Wdróż eksperyment dla wszystkich użytkowników, wykonując jedną z tych czynności:
- W przypadku eksperymentu, który korzysta z Kreatora powiadomień, użyj okna Wdrażanie wiadomości, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
- W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które wartości parametrów Remote Config należy zaktualizować. Kryteria kierowania wybrane podczas tworzenia eksperymentu zostaną dodane jako nowy warunek do Twojego szablonu, aby zapewnić wdrożenie wariantu tylko w przypadku użytkowników, na których kierowany jest dany eksperyment. Kliknij Weryfikacja ze Zdalną konfiguracją, aby przejrzeć zmiany, a następnie Opublikuj zmiany, aby zakończyć wdrożenie.
- W przypadku eksperymentu In-App Messaging użyj okna, aby określić, który wariant ma zostać wdrożony jako samodzielna kampania In-App Messaging. Po wybraniu tej opcji nastąpi przekierowanie do ekranu tworzenia wiadomości w aplikacji, gdzie możesz wprowadzić zmiany (w razie potrzeby) przed opublikowaniem.
Rozwijanie eksperymentu
Jeśli zauważysz, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testing mogła wyłonić lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.
- W konsoli Firebase kliknij DevOps & Engagement > Testy A/B.
- Wybierz aktywny eksperyment, który chcesz edytować.
- W Przeglądzie eksperymentu kliknij menu kontekstowe (), a następnie kliknij Edytuj trwający eksperyment.
- W oknie Kierowanie pojawi się opcja zwiększenia odsetka użytkowników, którzy biorą udział w trwającym eksperymencie. Wybierz liczbę większą niż bieżąca wartość procentowa i kliknij Opublikuj. Eksperyment zostanie udostępniony określonej przez Ciebie części użytkowników.
Duplikowanie lub zatrzymywanie eksperymentu
- W konsoli Firebase kliknij DevOps & Engagement > Testy A/B.
- Kliknij Zakończone lub Aktywne, najedź wskaźnikiem myszy na eksperyment, kliknij menu kontekstowe (), a następnie kliknij Zduplikuj eksperyment lub Zatrzymaj eksperyment.
Kierowanie na użytkowników
Możesz kierować eksperyment na użytkowników, korzystając z tych kryteriów kierowania na użytkowników.
| Kryterium kierowania | Operatorzy | Wartości | Uwaga |
|---|---|---|---|
| Wersja | zawiera,
nie zawiera, dokładnie pasuje, zawiera wyrażenie regularne(regex) |
Wpisz wartość dla co najmniej 1 wersji aplikacji, którą chcesz uwzględnić w eksperymencie. |
Jeśli używasz operatorów zawiera, nie zawiera lub dokładnie pasuje, możesz podać listę wartości rozdzielonych przecinkami. Jeśli używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części ciągu znaków wersji docelowej. Możesz też używać kotwic ^ i $, aby dopasowywać początek, koniec lub całość docelowego ciągu znaków. |
| Odbiorcy | zawiera wszystkie,
zawiera co najmniej 1, nie zawiera wszystkich, nie zawiera co najmniej 1 |
Wybierz co najmniej 1 grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. | Niektóre eksperymenty kierowane na odbiorców Google Analytics mogą wymagać kilku dni na zgromadzenie danych, ponieważ podlegają Analytics opóźnieniu przetwarzania danych. Opóźnienie to najprawdopodobniej wystąpi w przypadku nowych użytkowników, którzy są zwykle dodawani do kwalifikujących się list odbiorców po upływie 24–48 godzin od ich utworzenia, lub w przypadku niedawno utworzonych list odbiorców. |
| Właściwość użytkownika | W przypadku tekstu:
zawiera, nie zawiera, dokładnie pasuje, zawiera wyrażenie regularne(regex). W przypadku liczb: <, ≤, =, ≥, > |
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. Dostępne są różne opcje wyboru wartości właściwości użytkownika.
Na kliencie możesz ustawić tylko wartości ciągu dla właściwości użytkownika. W przypadku warunków, które używają operatorów liczbowych, usługa Remote Config konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą lub zmiennoprzecinkową. |
Jeśli używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części ciągu znaków wersji docelowej. Możesz też używać kotwic ^ i $, aby dopasowywać początek, koniec lub całość docelowego ciągu znaków. |
| Kraj/region | Nie dotyczy | Co najmniej 1 kraj lub region, w którym wybierani są użytkownicy, którzy mogą zostać uwzględnieni w eksperymencie. | |
| Języki | Nie dotyczy | Co najmniej 1 język i region używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. | |
| Pierwsze uruchomienie |
Więcej niż
Mniej niż Między |
Kieruj reklamy na użytkowników na podstawie liczby dni, które upłynęły od pierwszego uruchomienia aplikacji. | |
| Ostatnia interakcja z aplikacją |
Więcej niż
Mniej niż Między |
Kieruj reklamy na użytkowników na podstawie czasu, który upłynął od ich ostatniej interakcji z aplikacją (podanego w dniach). |
A/B Testing wskaźnika
Podczas tworzenia eksperymentu wybierasz podstawowe dane, czyli cel, które służą do określenia zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej zrozumieć skuteczność każdego wariantu eksperymentu i obserwować ważne trendy, które mogą się różnić w zależności od wariantu, np. utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 danych niezwiązanych z celami.
Załóżmy na przykład, że dodajesz do aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność 2 różnych wiadomości zachęcających do zakupu. W takim przypadku możesz ustawić Przychody z zakupów jako dane docelowe, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które przyniosło najwyższe przychody z zakupów w aplikacji. Chcesz też śledzić, który wariant przyniósł więcej przyszłych konwersji i utrzymanych użytkowników, więc w sekcji Inne dane do śledzenia możesz dodać te dane:
- Szacunkowe łączne przychody, aby zobaczyć, jak różnią się łączne przychody z zakupów w aplikacji i reklam w przypadku obu wariantów.
- Utrzymanie (1 dzień), Utrzymanie (2–3 dni), Utrzymanie (4–7 dni), aby śledzić dzienne lub tygodniowe utrzymanie użytkowników.
W tabelach poniżej znajdziesz szczegółowe informacje o tym, jak obliczane są dane dotyczące celów i inne dane.
Dane celów
| Wskaźnik | Opis |
|---|---|
| Użytkownicy, u których nie wystąpił błąd | Odsetek użytkowników, u których podczas eksperymentu nie wystąpiły błędy w aplikacji wykryte przez pakiet SDK Firebase Crashlytics.
Uwaga: Firebase Crashlytics nie jest obsługiwany w przypadku aplikacji internetowych. |
| Szacunkowe przychody z reklam | Szacunkowe zarobki z reklam. |
| Szacunkowe łączne przychody | Łączna wartość zakupów i szacunkowych przychodów z reklam. |
| Przychody z zakupów | Łączna wartość wszystkich zdarzeń purchase i in_app_purchase.
|
| Utrzymanie użytkowników (1 dzień) | Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji. |
| Utrzymanie (2–3 dni) | Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 2–3 dni. |
| Utrzymanie (4–7 dni) | Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 4–7 dni. |
| Utrzymanie (8–14 dni) | Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 8–14 dni. |
| Utrzymanie użytkowników (15 dni lub więcej) | Liczba użytkowników, którzy wrócili do aplikacji po co najmniej 15 dniach od ostatniego użycia. |
| first_open | Zdarzenie Analytics, które jest wywoływane, gdy użytkownik po raz pierwszy otwiera aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używana jako część ścieżki konwersji. |
Inne wskaźniki
| Wskaźnik | Opis |
|---|---|
| notification_dismiss | Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez Kreator powiadomień zostanie zamknięte (tylko Android). |
| notification_receive | Analytics – zdarzenie wywoływane, gdy powiadomienie wysłane przez Kreator powiadomień nadejdzie podczas działania aplikacji w tle (tylko Android). |
| os_update | Analytics – zdarzenie, które śledzi, kiedy system operacyjny urządzenia jest aktualizowany do nowej wersji.Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie.
Ten wskaźnik nie jest obsługiwany w przypadku aplikacji internetowych. |
| screen_view | Zdarzenie Analytics, które śledzi ekrany wyświetlane w aplikacji. Więcej informacji znajdziesz w artykule Śledzenie wyświetleń ekranu. |
| session_start | Zdarzenie Analytics, które zlicza sesje użytkowników w aplikacji. Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie. |