Gdy chcesz dotrzeć do użytkowników lub rozpocząć nową kampanię marketingową, musisz mieć pewność, że wszystko pójdzie zgodnie z planem. Testy A/B mogą pomóc Ci znaleźć optymalne sformułowania i swoją prezentację, testując warianty wiadomości w wybranych częściach grupy użytkowników. Niezależnie od tego, czy Twoim celem jest większa retencja czy konwersja po prezentacji oferty, test A/B może przeprowadzić analizę statystyczną, aby określić, czy wariant komunikatu działa lepiej niż wartość domyślna w przypadku wybranego celu.
Aby przeprowadzić test A/B wariantów cech z użyciem punktu odniesienia:
- Utwórz eksperyment.
- Sprawdź eksperyment na urządzeniu testowym.
- Zarządzaj eksperymentem.
Utwórz eksperyment
Eksperyment wykorzystujący pole Firebase In-App Messaging umożliwia ocenę wielu wariantów jednej wiadomości w aplikacji.
Zaloguj się w konsoli Firebase i sprawdź, czy w Twoim projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.
Jeśli podczas tworzenia projektu nie włączysz usługi Google Analytics, możesz to zrobić na karcie Integracje, do której możesz przejść, klikając > Ustawienia projektu w Firebase konsoli.
W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
Gdy pojawi się prośba o wybranie usługi, w której chcesz przeprowadzić eksperyment, kliknij kolejno Utwórz eksperyment i Wiadomości w aplikacji.
Możesz też w menu nawigacyjnym konsoli Firebase rozwinąć sekcję Zaangażuj, a potem kliknąć In-App Messaging. Następnie kliknij Nowy eksperyment.
Wpisz nazwę i opcjonalnie opis eksperymentu, a potem kliknij Dalej.
Wypełnij pola Kierowanie, wybierając najpierw aplikację, która ma korzystać z eksperymentu. Możesz też kierować eksperyment na podzbiór użytkowników, wybierając opcje, takie jak:
- Wersja: co najmniej 1 wersja aplikacji.
- Lista odbiorców: Analytics listy odbiorców służące do kierowania reklam na użytkowników, którzy mogą brać udział w eksperymencie.
- Właściwość użytkownika: co najmniej 1 właściwość użytkownika Analytics do wybierania użytkowników, którzy mogą być uwzględnieni w eksperymencie.
- Kraj/region: co najmniej 1 kraj lub region, w których chcesz wybrać użytkowników, którzy mogą wziąć udział w eksperymencie.
- Język urządzenia: co najmniej 1 język i region, na podstawie których wybierani są użytkownicy, którzy mogą wziąć udział w eksperymencie.
- Pierwsze uruchomienie: kierowanie na użytkowników według tego, kiedy po raz pierwszy otworzyli Twoją aplikację.
- Ostatnie zaangażowanie w aplikację: kierowanie na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją
Ustaw Odsetek użytkowników docelowych: wybierz odsetek użytkowników aplikacji, którzy spełniają kryteria określone w sekcji Użytkownicy docelowi, i których chcesz podzielić po równo między grupę podstawową a co najmniej 1 wariant w eksperymencie. Może ona wynosić dowolną wartość procentową z zakresu 0,01–100%. Odsetki są losowo przypisywane użytkownikom w ramach każdego eksperymentu, w tym w przypadku eksperymentów powielonych.
W sekcji Warianty skonfiguruj podstawową wiadomość w aplikacji, która będzie wysyłana do grupy podstawowej, korzystając z interfejsu projektu wiadomości, którego używasz w normalnej kampanii z wiadomościami w aplikacji.
Aby dodać wariant do eksperymentu, kliknij Dodaj wariant. Domyślnie eksperymenty mają 1 element bazowy i 1 wariant.
(Opcjonalnie) Podaj bardziej opisową nazwę dla każdej odmiany.
(Opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty, aby porównać jeszcze 1 wariant wiadomości z wiadomością bazową.
Określ dane docelowe eksperymentu, które mają być używane podczas oceny jego wariantów, oraz dodatkowe dane z listy, których chcesz użyć. Te dane obejmują cele wbudowane (zaangażowanie, zakupy, przychody, utrzymanie itp.), Analytics zdarzeń konwersji i innych zdarzeń Analytics.
Skonfiguruj harmonogram eksperymentu:
- Ustaw datę rozpoczęcia i zakończenia eksperymentu.
- Określ sposób wywoływania wiadomości w aplikacji we wszystkich wariantach.
Aby zapisać eksperyment, kliknij Sprawdź.
Możesz utworzyć maksymalnie 300 eksperymentów na projekt, z których maksymalnie 24 może być aktywnych, a pozostałe mogą być w wersji roboczej lub ukończone.
Weryfikowanie eksperymentu na urządzeniu testowym
W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniający. Możesz użyć tego tokena do testowania określonych wariantów eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym:
- Aby uzyskać token uwierzytelniający instalację:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin+KTX
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
- Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
- Kliknij Wersja robocza (lub Aktywny w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe (more_vert), a potem Zarządzaj urządzeniami testowymi.
- Wpisz token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie.
- Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.
Więcej informacji o instalacjach Firebase znajdziesz w artykule Zarządzanie instalacjami Firebase.
Zarządzanie eksperymentem
Niezależnie od tego, czy eksperyment został utworzony za pomocą Remote Config, w narzędzie do tworzenia powiadomień czy Firebase In-App Messaging, możesz go zweryfikować i rozpocząć, a także monitorować jego przebieg i zwiększać liczbę użytkowników, którzy biorą w nim udział.
Po zakończeniu eksperymentu możesz zapoznać się z ustawieniami użytymi przez najlepszy wariant i wdrożyć je dla wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.
Rozpocznij eksperyment
- W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
- Kliknij kolejno Wersja robocza i tytuł eksperymentu.
- Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaną uwzględnieni w eksperymencie, rozwiń szczegóły wersji próbnej i sprawdź, czy w sekcji Targetowanie i dystrybucja znajduje się liczba większa niż 0% (np. 1% użytkowników spełniających kryteria).
- Aby zmienić eksperyment, kliknij Edytuj.
- Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz przeprowadzać maksymalnie 24 eksperymenty na projekt jednocześnie.
Monitorowanie eksperymentu
Po pewnym czasie działania eksperymentu możesz sprawdzić jego postępy i zobaczyć, jakie są wyniki w przypadku użytkowników, którzy do tej pory brali udział w eksperymencie.
- W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
Kliknij W trakcie, a potem kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie możesz wyświetlić różne statystyki obserwowane i modelowane dotyczące trwającego eksperymentu, w tym:
- % różnicy w stosunku do punktu odniesienia: miara poprawy wskaźnika w danym wariancie w stosunku do punktu odniesienia. Obliczany przez porównanie zakresu wartości wariantu z zakresem wartości wartości odniesienia.
- Prawdopodobieństwo przekroczenia wartości podstawowej: szacowane prawdopodobieństwo, że dany wariant osiągnie lepsze wyniki niż punkt odniesienia w przypadku wybranych danych.
- observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym będzie się znajdować wartość danych w ciągu czasu.
- Łącznie observed_metric: zaobserwowana skumulowana wartość dla punktu odniesienia lub wariantu. Wartość ta służy do pomiaru skuteczności poszczególnych wersji eksperymentu i obliczania poprawy, zakresu wartości, prawdopodobieństwo pokonania punktu odniesienia i prawdopodobieństwo bycia najlepszą wersją. W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
Po pewnym czasie działania eksperymentu (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config) dane na tej stronie wskazują, który wariant jest najlepszy (o ile w ogóle występuje). Niektóre pomiary są uzupełnione wykresem słupkowym, który przedstawia dane w formie wizualnej.
Wdrażanie eksperymentu dla wszystkich użytkowników
Gdy eksperyment będzie trwał wystarczająco długo, aby zidentyfikować „lidera” lub najlepszy wariant na podstawie danych związanych z realizacją celu, możesz wdrożyć eksperyment dla wszystkich użytkowników. Dzięki temu możesz wybrać wariant, który będzie publikowany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłonił odmiany wyraźnie lepszej, możesz nadal udostępnić wariant wszystkim użytkownikom.
- W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
- Kliknij Ukończono lub Trwa, wybierz eksperyment, który chcesz udostępnić wszystkim użytkownikom, kliknij menu kontekstowe () Wdróż wariant.
Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z tych czynności:
- W przypadku eksperymentu, który korzysta z narzędzia do tworzenia powiadomień, użyj okna Wprowadzanie wiadomości, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
- W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które wartości parametru Remote Config chcesz zmienić. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu są dodawane jako nowy warunek w szablonie, aby wdrożenie obejmowało tylko użytkowników docelowych eksperymentu. Kliknij Sprawdź w Zdalnej konfiguracji i sprawdź zmiany, a potem kliknij Opublikuj zmiany, aby zakończyć wdrażanie.
- W przypadku eksperymentu In-App Messaging użyj okna dialogowego, aby określić, która wersja ma zostać wdrożona jako samodzielna kampania In-App Messaging. Po wybraniu opcji nastąpi przekierowanie do ekranu tworzenia FIAM, na którym można wprowadzić zmiany (jeśli są wymagane) przed opublikowaniem.
Rozwijanie eksperymentu
Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testingmogło wyłonić zwycięzcę, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.
- W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
- Wybierz trwający eksperyment, który chcesz edytować.
- Na stronie Podsumowanie eksperymentu kliknij menu kontekstowe (), a potem Edytuj bieżący eksperyment.
- W oknie Kierowanie wyświetla się opcja zwiększenia odsetka użytkowników, którzy biorą udział w eksperymencie. Wybierz liczbę większą niż obecny odsetek i kliknij Opublikuj. Eksperyment zostanie wdrożony wśród wskazanego przez Ciebie odsetka użytkowników.
Duplikat eksperymentu lub jego zatrzymanie
- W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
- Kliknij Ukończony lub Uruchomiony, najedź kursorem na eksperyment, kliknij menu kontekstowe (), a następnie Duplikuj eksperyment lub Zatrzymaj eksperyment.
Kierowanie na użytkowników
Możesz kierować reklamy na użytkowników, którzy mają wziąć udział w eksperymencie, korzystając z podanych niżej kryteriów kierowania na użytkowników.
| Kryterium kierowania | Operatorzy | Wartości | Uwaga |
|---|---|---|---|
| Wersja | zawiera,
nie zawiera, pasuje dokładnie, zawiera wyrażenie regularne |
Wpisz wartość dla co najmniej 1 wersji aplikacji, którą chcesz uwzględnić w eksperymencie. |
Gdy używasz operatorów zawiera, nie zawiera lub pasuje dokładnie, możesz podać listę wartości rozdzielanych przecinkami. Korzystając z operatora contains regex, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków. Możesz też użyć zakotwiczenia ^ i $, aby dopasować początek, koniec lub cały ciąg docelowy. |
| Odbiorcy | zawiera wszystkie,
zawiera co najmniej jeden z, nie zawiera wszystkich, nie zawiera co najmniej jednego z |
Wybierz co najmniej 1 listę odbiorców Analytics, na którą chcesz kierować reklamy, aby docierać do użytkowników, którzy mogą być uwzględnieni w Twoim eksperymencie. | Niektóre eksperymenty kierowane do odbiorców Google Analytics mogą wymagać kilku dni na gromadzenie danych, ponieważ są one uzależnione od Analyticsopóźnienia przetwarzania danych. Najprawdopodobniej opóźnienie to wystąpi w przypadku nowych użytkowników, którzy są zwykle dołączani do odpowiednich list odbiorców w ciągu 24–48 godzin od ich utworzenia, lub w przypadku niedawno utworzonych list odbiorców. |
| Właściwość użytkownika | W przypadku tekstu:
zawiera, nie zawiera, ściśle pasuje do, zawiera wyrażenie regularne W przypadku liczb: <, ≤, =, ≥, > |
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą być uwzględnieni w eksperymencie. Dostępne są różne opcje wyboru wartości tej właściwości.
Na kliencie możesz ustawiać tylko wartości ciągu znaków w przypadku właściwości użytkownika. W przypadku warunków, które używają operatorów liczbowych, usługa Remote Config zamienia wartość odpowiedniej właściwości użytkownika na liczbę całkowitą lub zmiennoprzecinkową. |
Korzystając z operatora contains regex, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może zostać dopasowane do całego ciągu znaków wersji docelowej lub do jego części. Możesz też użyć kotwic ^ i $, by dopasować początek, koniec lub całość docelowego ciągu znaków. |
| Kraj/region | Nie dotyczy | Jeden lub więcej krajów lub regionów, które służą do wybierania użytkowników, którzy mogą zostać objęci eksperymentem. | |
| Języki | Nie dotyczy | Jeden lub więcej języków i regionów służących do wybierania użytkowników, którzy mogą wziąć udział w eksperymencie. | |
| Pierwsze uruchomienie |
Więcej niż
Mniej niż Pomiędzy |
Kieruj reklamy na użytkowników na podstawie tego, kiedy po raz pierwszy uruchomili Twoją aplikację (określoną w liczbie dni). | |
| Ostatnia interakcja z aplikacją |
Więcej niż
Mniej niż Pomiędzy |
Kieruj na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją (określ to w dniach). |
A/B Testing wskaźnika
Podczas tworzenia eksperymentu wybierasz podstawowy wskaźnik, czyli cel, który służy do określenia zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej zrozumieć skuteczność poszczególnych wariantów eksperymentu, a także ważne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 danych innych niż cele.
Załóżmy na przykład, że dodasz do swojej aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność 2 różnych komunikatów zachęcających. W tym przypadku możesz ustawić Przychody z zakupów jako dane celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które wygenerowało najwyższe przychody z zakupów w aplikacji. Ponieważ chcesz też śledzić, który wariant spowodował więcej przyszłych konwersji i utrzymał więcej użytkowników, możesz w sekcji Inne dane do śledzenia dodać te dane:- Szacunkowe łączne przychody, aby sprawdzić, jak łączne przychody z zakupów w aplikacji i z reklam różnią się między 2 wariantami.
- Utrzymanie (1 dzień), Utrzymanie (2–3 dni) i Utrzymanie (4–7 dni), aby śledzić dzienne/tygodniowe utrzymanie użytkowników.
W tabelach poniżej znajdziesz szczegółowe informacje o sposobie obliczania danych celów i innych danych.
Dane celów
| Dane | Opis |
|---|---|
| Użytkownicy, u których nie wystąpił błąd | Odsetek użytkowników, którzy nie napotkali w Twojej aplikacji błędów wykrytych przez pakiet SDK Firebase Crashlytics podczas eksperymentu. |
| Szacunkowe przychody z reklam | Szacunkowe zarobki z reklam. |
| Szacunkowe łączne przychody | Łączna wartość zakupu i szacowanych przychodów z reklam. |
| Przychody z zakupów | Połączona wartość wszystkich zdarzeń purchase i in_app_purchase.
|
| Utrzymanie użytkowników (1 dzień) | Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji. |
| Utrzymanie (2–3 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2–3 dni. |
| Utrzymanie użytkowników (4–7 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4–7 dni. |
| Utrzymanie użytkowników (8–14 dni) | Liczba użytkowników, którzy wrócili do aplikacji w ciągu 8–14 dni. |
| Utrzymanie użytkowników (15 dni lub więcej) | Liczba użytkowników, którzy wrócili do aplikacji po co najmniej 15 dniach od ostatniego jej użycia. |
| first_open | Zdarzenie Analytics, które uruchamia się, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używana w ramach ścieżki konwersji. |
Inne dane
| Dane | Opis |
|---|---|
| notification_dismiss | Zdarzenie Analytics, które jest wywoływane, gdy użytkownik odrzuca powiadomienie wysłane przez edytor powiadomień (tylko na Androidzie). |
| notification_receive | Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez edytor powiadomień zostanie odebrane, gdy aplikacja działa w tle (tylko na Androidzie). |
| os_update | Zdarzenie Analytics, które śledzi, kiedy system operacyjny urządzenia jest aktualizowany do nowej wersji. Więcej informacji znajdziesz w sekcji Zdarzenia zbierane automatycznie. |
| screen_view | Zdarzenie Analytics, które śledzi wyświetlenia ekranów w aplikacji. Więcej informacji znajdziesz w sekcji Śledzenie wyświetleń ekranu. |
| session_start | Zdarzenie Analytics, które zlicza sesje użytkowników w aplikacji. Więcej informacji znajdziesz w sekcji Zdarzenia zbierane automatycznie. |