Check out what’s new from Firebase at Google I/O 2022. Learn more

Twórz eksperymenty z wiadomościami w aplikacji za pomocą testów A/B

Kiedy docierasz do użytkowników lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że zrobiłeś to dobrze. Testy A/B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji poprzez testowanie wariantów wiadomości na wybranych fragmentach Twojej bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie lub konwersja oferty, testy A/B mogą przeprowadzić analizę statystyczną, aby określić, czy wariant wiadomości jest lepszy od punktu odniesienia dla wybranego celu.

Aby przetestować warianty funkcji A/B z linią bazową, wykonaj następujące czynności:

  1. Stwórz swój eksperyment.
  2. Sprawdź poprawność eksperymentu na urządzeniu testowym.
  3. Zarządzaj swoim eksperymentem.

Utwórz eksperyment

Eksperyment wykorzystujący funkcję Firebase Wysyłanie wiadomości w aplikacji pozwala ocenić wiele wariantów jednej wiadomości w aplikacji.

  1. Zaloguj się w konsoli Firebase i sprawdź, czy w Twoim projekcie włączono Google Analytics, aby eksperyment miał dostęp do danych Analytics.

    Jeśli nie włączyłeś Google Analytics podczas tworzenia projektu, możesz to zrobić na karcie Integracje , do której możesz uzyskać dostęp za pomocą > Ustawienia projektu w konsoli Firebase .

  2. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .

  3. Kliknij Utwórz eksperyment , a po wyświetleniu monitu o usługę, z którą chcesz poeksperymentować, wybierz opcję Wiadomości w aplikacji .

  4. Możesz też na pasku nawigacyjnym konsoli Firebase rozwinąć Zaangażowanie , a następnie kliknąć Wiadomości w aplikacji . Następnie kliknij Nowy eksperyment .

  5. Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij przycisk Dalej .

  6. Wypełnij pola kierowania , wybierając najpierw aplikację, która korzysta z eksperymentu. Możesz także skierować podzbiór użytkowników do udziału w eksperymencie, wybierając opcje obejmujące:

    • Wersja: co najmniej jedna wersja Twojej aplikacji
    • Odbiorcy użytkowników: grupy odbiorców Analytics używane do kierowania na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Właściwość użytkownika: co najmniej jedna właściwość użytkownika Analytics służąca do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Kraj/region: co najmniej jeden kraj lub region do wyboru użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Język urządzenia: co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Pierwsze otwarcie: Kieruj reklamy na użytkowników na podstawie tego, kiedy po raz pierwszy otworzyli Twoją aplikację
    • Ostatnie zaangażowanie w aplikację: Kieruj reklamy na użytkowników na podstawie ostatniego kontaktu z Twoją aplikacją
  7. Ustaw procent docelowych użytkowników: wybierz procent bazy użytkowników Twojej aplikacji spełniającej kryteria ustawione w sekcji Docelowi użytkownicy , którą chcesz równomiernie podzielić między podstawę a co najmniej jeden wariant w eksperymencie. Może to być dowolny procent z zakresu od 0,01% do 100%. Procenty są losowo ponownie przypisywane do użytkowników w przypadku każdego eksperymentu, w tym zduplikowanych eksperymentów.

  8. W sekcji Warianty skonfiguruj linię bazową wiadomości w aplikacji do wysłania do grupy linii bazowych przy użyciu interfejsu projektowania wiadomości używanego w normalnej kampanii wiadomości w aplikacji.

  9. Aby dodać wariant do eksperymentu, kliknij Dodaj wariant . Domyślnie eksperymenty mają jedną linię bazową i jeden wariant.

  10. (opcjonalnie) Wprowadź nazwę dla każdego wariantu w eksperymencie, aby zastąpić nazwy Wariant A , Wariant B itd.

  11. (opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty , aby porównać jeszcze jeden wariant wiadomości obok wiadomości bazowej.

  12. Zdefiniuj dane celu eksperymentu, które będą używane podczas oceny wariantów eksperymentu, wraz z wszelkimi żądanymi dodatkowymi danymi z listy rozwijanej. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.

  13. Skonfiguruj harmonogram eksperymentu:

    • Ustaw datę rozpoczęcia i zakończenia eksperymentu.
    • Ustaw sposób wyzwalania wiadomości w aplikacji we wszystkich wariantach.
  14. Kliknij Sprawdź , aby zapisać eksperyment.

Dozwolone jest do 300 eksperymentów na projekt, które mogą składać się z maksymalnie 24 uruchomionych eksperymentów, a reszta to wersja robocza lub ukończona.

Sprawdź poprawność eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniania instalacji. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną Twoją aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:

  1. Uzyskaj token uwierzytelniania instalacji w następujący sposób:

    Szybki

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Cel C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  3. Kliknij opcję Wersja robocza (i/lub Uruchom w przypadku eksperymentów ze Zdalną konfiguracją), najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij Zarządzaj urządzeniami testowymi .
  4. Wprowadź token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie testowe.
  5. Uruchom aplikację i potwierdź, że wybrany wariant jest odbierany na urządzeniu testowym.

Aby dowiedzieć się więcej o instalacjach Firebase, zobacz Zarządzanie instalacjami Firebase .

Zarządzaj swoim eksperymentem

Niezależnie od tego, czy tworzysz eksperyment za pomocą Zdalnej konfiguracji, kreatora powiadomień czy funkcji Firebase In-App Messaging, możesz następnie zweryfikować i rozpocząć eksperyment, monitorować eksperyment w trakcie jego trwania i zwiększyć liczbę użytkowników uwzględnionych w trwającym eksperymencie.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie udostępnić je wszystkim użytkownikom. Możesz też przeprowadzić kolejny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij opcję Wersja robocza , a następnie kliknij tytuł eksperymentu.
  3. Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaliby uwzględnieni w eksperymencie, rozwiń szczegóły wersji roboczej i poszukaj liczby większej niż 0% w sekcji Kierowanie i dystrybucja (na przykład 1% użytkowników spełniających kryteria ).
  4. Aby zmienić eksperyment, kliknij Edytuj .
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment . Jednocześnie możesz przeprowadzić do 24 eksperymentów na projekt.

Monitoruj eksperyment

Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają wyniki dla użytkowników, którzy do tej pory uczestniczyli w eksperymencie.

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij Uruchomiony , a następnie kliknij tytuł eksperymentu. Na tej stronie można wyświetlić różne zaobserwowane i modelowane statystyki dotyczące prowadzonego eksperymentu, w tym:

    • % różnicy w stosunku do wartości bazowej : miara poprawy metryki dla danego wariantu w porównaniu do wartości bazowej. Obliczany przez porównanie zakresu wartości wariantu z zakresem wartości odniesienia.
    • Prawdopodobieństwo pokonania linii bazowej : Szacowane prawdopodobieństwo, że dany wariant przekroczy linię bazową dla wybranej metryki.
    • observed_metric na użytkownika : na podstawie wyników eksperymentu jest to przewidywany zakres, w którym z biegiem czasu będzie mieścić się wartość metryki.
    • Całkowita observed_metric : zaobserwowana skumulowana wartość dla linii bazowej lub wariantu. Wartość służy do pomiaru skuteczności każdego wariantu eksperymentu i służy do obliczania poprawy , zakresu wartości , prawdopodobieństwa pokonania linii bazowej i prawdopodobieństwa uzyskania najlepszego wariantu . W zależności od mierzonych danych kolumna ta może być oznaczona etykietą „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
  3. Po pewnym czasie trwania eksperymentu (co najmniej 7 dni w przypadku FCM i wysyłania wiadomości w aplikacji lub 14 dni w przypadku Zdalnej konfiguracji) dane na tej stronie wskazują, który wariant (jeśli w ogóle) jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy przedstawiający dane w formie wizualnej.

Przeprowadź eksperyment dla wszystkich użytkowników

Po zakończeniu eksperymentu na tyle długo, że masz „lidera” lub zwycięski wariant dla danych celu, możesz wdrożyć eksperyment u 100% użytkowników. Pozwala to wybrać wariant do opublikowania dla wszystkich przyszłych użytkowników. Nawet jeśli w eksperymencie nie wyłoniono wyraźnego zwycięzcy, nadal możesz wprowadzić wariant dla wszystkich użytkowników.

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij Ukończone lub Uruchomione , kliknij eksperyment, który chcesz wdrożyć dla wszystkich użytkowników, kliknij menu kontekstowe ( ), a następnie kliknij Wdróż wariant .
  3. Rozpocznij eksperyment dla wszystkich użytkowników, wykonując jedną z następujących czynności:

    • W przypadku eksperymentu z edytorem powiadomień użyj okna dialogowego Rozwiń wiadomość, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Zdalnej konfiguracji wybierz wariant, aby określić, które wartości parametrów Zdalnej konfiguracji mają zostać zaktualizowane. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu zostaną dodane jako nowy warunek w szablonie, aby zapewnić, że wdrożenie będzie miało wpływ tylko na użytkowników docelowych eksperymentu. Po kliknięciu Przejrzyj w Zdalnej konfiguracji , aby przejrzeć zmiany, kliknij Opublikuj zmiany , aby zakończyć wdrażanie.
    • W przypadku eksperymentu z wiadomościami w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię z wiadomościami w aplikacji. Po wybraniu nastąpi przekierowanie do ekranu tworzenia FIAM, aby wprowadzić zmiany (jeśli są wymagane) przed opublikowaniem.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby testy A/B mogły określić lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Wybierz trwający eksperyment, który chcesz edytować.
  3. W przeglądzie eksperymentu kliknij menu kontekstowe ( ), a następnie kliknij opcję Edytuj trwający eksperyment .
  4. Okno dialogowe Kierowanie wyświetla opcję zwiększenia odsetka użytkowników biorących udział w aktualnie trwającym eksperymencie. Wybierz liczbę większą niż aktualna wartość procentowa i kliknij Opublikuj . Eksperyment zostanie wypchnięty do określonego odsetka użytkowników.

Powiel lub zatrzymaj eksperyment

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij Ukończone lub Uruchomione , najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij Powiel eksperyment lub Zatrzymaj eksperyment .

Kierowanie na użytkownika

Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z następujących kryteriów kierowania na użytkowników.

Kryterium kierowania Operator(y) Wartość(-ci) Notatka
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne
Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymencie.

W przypadku używania dowolnego z operatorów zawiera , nie zawiera lub dokładnie pasuje do operatorów, można podać listę wartości oddzielonych przecinkami.

Używając operatora zawiera regex , możesz tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość docelowego ciągu.

Odbiorcy użytkowników obejmuje wszystkie,
zawiera co najmniej jeden z,
nie obejmuje wszystkich,
nie zawiera co najmniej jednego z
Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą być uwzględnieni w eksperymencie. Niektóre eksperymenty kierowane na odbiorców Google Analytics mogą wymagać kilku dni na zgromadzenie danych, ponieważ podlegają one opóźnieniom w przetwarzaniu danych Analytics . Najprawdopodobniej napotkasz to opóźnienie w przypadku nowych użytkowników, którzy zazwyczaj są zarejestrowani w kwalifikujących się grupach odbiorców w ciągu 24–48 godzin od utworzenia lub w przypadku niedawno utworzonych odbiorców .
Własność użytkownika Dla tekstu:
zawiera,
nie zawiera,
dokładnie pasuje,
zawiera wyrażenie regularne

Dla liczb:
<, ≤, =, ≥, >
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie, z różnymi opcjami wyboru wartości właściwości użytkownika.

Na kliencie można ustawić tylko wartości ciągów dla właściwości użytkownika. W przypadku warunków korzystających z operatorów liczbowych usługa Zdalna konfiguracja konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.
Używając operatora zawiera regex , możesz tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość docelowego ciągu.
Kraj urządzenia Nie dotyczy Co najmniej jeden kraj lub region użyty do wybrania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
Język urządzenia Nie dotyczy Co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. To kryterium kierowania jest dostępne tylko w przypadku Zdalnej konfiguracji.
Pierwsze otwarcie więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia Twojej aplikacji, określonej w dniach. To kryterium kierowania jest dostępne tylko w przypadku wysyłania wiadomości Firebase w aplikacji.
Ostatnie zaangażowanie w aplikację więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie ostatniego kontaktu z Twoją aplikacją, określonego w dniach. To kryterium kierowania jest dostępne tylko w przypadku wysyłania wiadomości Firebase w aplikacji.

Wskaźniki testów A/B

Podczas tworzenia eksperymentu wybierasz dane podstawowe, czyli cel , które służą do określenia zwycięskiego wariantu. Powinieneś także śledzić inne dane, aby lepiej zrozumieć skuteczność każdego wariantu eksperymentu i śledzić ważne trendy, które mogą się różnić dla każdego wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić do pięciu metryk niezwiązanych z celem.

Załóżmy na przykład, że dodałeś do swojej aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność dwóch różnych komunikatów „ponaglających”. W takim przypadku możesz zdecydować się na ustawienie przychodów z zakupów jako danych celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które przyniosło największe przychody z zakupów w aplikacji. A ponieważ chcesz również śledzić, która odmiana przyniosła więcej konwersji w przyszłości i zatrzymanych użytkowników, możesz dodać następujące dane w sekcji Inne dane do śledzenia :

  • Szacunkowy łączny przychód , aby zobaczyć, jak łączny przychód z zakupów w aplikacji i przychodów z reklam różni się w obu wariantach
  • Utrzymanie (1 dzień) , Utrzymanie (2-3 dni) , Utrzymanie (4-7 dni) w celu śledzenia dziennego/tygodniowego utrzymania użytkowników

Poniższe tabele zawierają szczegółowe informacje o sposobie obliczania danych celów i innych danych.

Wskaźniki celu

Metryczny Opis
Użytkownicy bez awarii Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji wykrytych przez pakiet Firebase Crashlytics SDK podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam.
Szacowane całkowite przychody Łączna wartość zakupu i szacunkowe przychody z reklam.
Przychody z zakupów Łączna wartość dla wszystkich zdarzeń purchase i in_app_purchase .
Retencja (1 dzień) Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Retencja (2-3 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 2-3 dni.
Retencja (4-7 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 4-7 dni.
Retencja (8-14 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 8-14 dni.
Retencja (15+ dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji co najmniej 15 dni po jej ostatnim użyciu.
pierwszy_otwarty Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używane jako część ścieżki konwersji.

Inne metryki

Metryczny Opis
powiadomienie_zwolnienie Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odrzucone (tylko Android).
odbiór_powiadomienia Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odebrane, gdy aplikacja działa w tle (tylko Android).
os_aktualizacja Zdarzenie Analytics śledzące aktualizację systemu operacyjnego urządzenia do nowej wersji.Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie .
screen_view Zdarzenie Analytics, które śledzi ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Śledzenie wyświetleń ekranu .
sesja_początkowa Zdarzenie Analytics, które zlicza sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie .