Twórz eksperymenty z wiadomościami w aplikacji za pomocą testów A/B

Kontaktując się z użytkownikami lub rozpoczynając nową kampanię marketingową, chcesz mieć pewność, że wszystko zrobisz dobrze. Testy A/B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji poprzez testowanie wariantów wiadomości na wybranych częściach bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie czy konwersja oferty, testy A/B mogą przeprowadzić analizę statystyczną w celu ustalenia, czy wariant wiadomości jest skuteczniejszy od wartości bazowej dla wybranego celu.

Aby przeprowadzić test A/B wariantów funkcji z wartością bazową, wykonaj następujące czynności:

  1. Stwórz swój eksperyment.
  2. Zweryfikuj swój eksperyment na urządzeniu testowym.
  3. Zarządzaj swoim eksperymentem.

Utwórz eksperyment

Eksperyment wykorzystujący komunikację w aplikacji Firebase umożliwia ocenę wielu wariantów pojedynczej wiadomości w aplikacji.

  1. Zaloguj się do konsoli Firebase i sprawdź, czy w Twoim projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.

    Jeżeli podczas tworzenia swojego projektu nie włączyłeś Google Analytics, możesz je włączyć w zakładce Integracje , do której dostęp uzyskasz poprzez > Ustawienia projektu w konsoli Firebase .

  2. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .

  3. Kliknij opcję Utwórz eksperyment , a następnie po wyświetleniu monitu o podanie usługi, z którą chcesz poeksperymentować, wybierz opcję Wiadomości w aplikacji .

  4. Alternatywnie, w menu nawigacyjnym konsoli Firebase rozwiń opcję Angażuj , a następnie kliknij opcję Wiadomości w aplikacji . Następnie kliknij Nowy eksperyment .

  5. Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij przycisk Dalej .

  6. Wypełnij pola Kierowanie , wybierając najpierw aplikację, która korzysta z Twojego eksperymentu. Możesz także skierować reklamy do podzbioru użytkowników, aby wzięli udział w eksperymencie, wybierając opcje obejmujące:

    • Wersja: jedna lub więcej wersji Twojej aplikacji
    • Odbiorcy użytkowników: odbiorcy Analytics używani do kierowania reklam na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Właściwość użytkownika: co najmniej jedna właściwość użytkownika Analytics służąca do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
    • Kraj/region: co najmniej jeden kraj lub region, w którym wybierani są użytkownicy, którzy mogą zostać objęci eksperymentem
    • Język urządzenia: co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
    • Pierwsze otwarcie: kieruj reklamy do użytkowników na podstawie tego, kiedy po raz pierwszy otworzyli Twoją aplikację
    • Ostatnie zaangażowanie w aplikację: kieruj reklamy do użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją
  7. Ustaw procent docelowych użytkowników: wybierz procent bazy użytkowników aplikacji spełniający kryteria określone w sekcji Docelowi użytkownicy , który chcesz równomiernie podzielić pomiędzy wartość bazową i jeden lub więcej wariantów w eksperymencie. Może to być dowolny procent z zakresu od 0,01% do 100%. Wartości procentowe są losowo przypisywane użytkownikom w przypadku każdego eksperymentu, włączając w to zduplikowane eksperymenty.

  8. W sekcji Warianty skonfiguruj bazową wiadomość w aplikacji, która będzie wysyłana do grupy bazowej przy użyciu interfejsu projektowania wiadomości, którego używasz w zwykłej kampanii z wiadomością w aplikacji.

  9. Aby dodać wariant do eksperymentu, kliknij Dodaj wariant . Domyślnie eksperymenty mają jedną wartość bazową i jeden wariant.

  10. (opcjonalnie) Wpisz bardziej opisową nazwę dla każdego wariantu.

  11. (opcjonalnie) W górnej części sekcji Warianty kliknij przycisk Porównaj warianty , aby porównać jeszcze jeden wariant wiadomości obok wiadomości podstawowej.

  12. Zdefiniuj metrykę celu eksperymentu, która będzie używana podczas oceny wariantów eksperymentu, wraz z dodatkowymi metrykami, których chcesz użyć z listy. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.

  13. Skonfiguruj harmonogram eksperymentu:

    • Ustaw datę rozpoczęcia i zakończenia eksperymentu.
    • Ustaw sposób wyświetlania komunikatów w aplikacji we wszystkich wariantach.
  14. Kliknij opcję Recenzja , aby zapisać eksperyment.

Możesz przeprowadzić maksymalnie 300 eksperymentów na projekt, który może składać się z maksymalnie 24 bieżących eksperymentów, a reszta jest w wersji roboczej lub ukończona.

Zweryfikuj swój eksperyment na urządzeniu testowym

Dla każdej instalacji Firebase możesz pobrać powiązany z nią token autoryzacji instalacji. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:

  1. Uzyskaj token autoryzacji instalacji w następujący sposób:

    Szybki

    do {
      let result = try await Installations.installations()
        .authTokenForcingRefresh(true)
      print("Installation auth token: \(result.authToken)")
    } catch {
      print("Error fetching token: \(error)")
    }
    

    Cel C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    val forceRefresh = true
    FirebaseInstallations.getInstance().getToken(forceRefresh)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
  3. Kliknij opcję Wersja robocza (i/lub Eksperymenty w ramach zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij opcję Zarządzaj urządzeniami testowymi .
  4. Wprowadź token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie testowe.
  5. Uruchom aplikację i potwierdź, że wybrany wariant zostanie odebrany na urządzeniu testowym.

Aby dowiedzieć się więcej o instalacjach Firebase, zobacz Zarządzanie instalacjami Firebase .

Zarządzaj swoim eksperymentem

Niezależnie od tego, czy tworzysz eksperyment za pomocą funkcji Remote Config, narzędzia do tworzenia powiadomień czy funkcji przesyłania wiadomości w aplikacji Firebase, możesz następnie sprawdzić i rozpocząć eksperyment, monitorować go w trakcie jego trwania oraz zwiększyć liczbę użytkowników objętych trwającym eksperymentem.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie udostępnić je wszystkim użytkownikom. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
  2. Kliknij opcję Wersja robocza , a następnie kliknij tytuł eksperymentu.
  3. Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaliby objęci eksperymentem, rozwiń szczegóły wersji roboczej i sprawdź, czy w sekcji Kierowanie i dystrybucja znajduje się liczba większa niż 0% (na przykład 1% użytkowników spełniających kryteria ).
  4. Aby zmienić eksperyment, kliknij Edytuj .
  5. Aby rozpocząć eksperyment, kliknij opcję Rozpocznij eksperyment . W jednym projekcie można przeprowadzić maksymalnie 24 eksperymenty.

Monitoruj eksperyment

Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają wyniki dla użytkowników, którzy do tej pory wzięli udział w eksperymencie.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
  2. Kliknij opcję Uruchomione , a następnie kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie możesz przeglądać różne obserwowane i modelowane statystyki dotyczące trwającego eksperymentu, w tym następujące:

    • % różnicy w stosunku do wartości bazowej : Miara poprawy metryki dla danego wariantu w porównaniu z wartością bazową. Obliczane poprzez porównanie zakresu wartości wariantu z zakresem wartości linii bazowej.
    • Prawdopodobieństwo przekroczenia wartości bazowej : szacowane prawdopodobieństwo, że dany wariant przekroczy wartość bazową w przypadku wybranej metryki.
    • observed_metric na użytkownika : na podstawie wyników eksperymentu jest to przewidywany zakres, w jakim wartość metryki będzie się mieścić w miarę upływu czasu.
    • Całkowita observed_metric : zaobserwowana skumulowana wartość linii bazowej lub wariantu. Wartość służy do pomiaru skuteczności każdego wariantu eksperymentu oraz do obliczania poprawy , zakresu wartości , prawdopodobieństwa przekroczenia wartości bazowej i prawdopodobieństwa bycia najlepszym wariantem . W zależności od mierzonych danych kolumna ta może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
  3. Po pewnym czasie trwania eksperymentu (co najmniej 7 dni w przypadku FCM i przesyłania wiadomości w aplikacji lub 14 dni w przypadku zdalnej konfiguracji) dane na tej stronie wskazują, który wariant (jeśli w ogóle) jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy przedstawiający dane w formie wizualnej.

Przeprowadź eksperyment dla wszystkich użytkowników

Gdy eksperyment będzie trwał na tyle długo, że uzyskasz „lidera” lub zwycięski wariant wskaźnika celu, możesz udostępnić eksperyment 100% użytkowników. Dzięki temu możesz wybrać wariant do opublikowania dla wszystkich użytkowników w przyszłości. Nawet jeśli Twój eksperyment nie wyłonił wyraźnego zwycięzcy, nadal możesz udostępnić wariant wszystkim użytkownikom.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
  2. Kliknij opcję Zakończono lub Trwa , kliknij eksperyment, który chcesz udostępnić wszystkim użytkownikom, kliknij menu kontekstowe ( ) Wdróż wariant .
  3. Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z następujących czynności:

    • W przypadku eksperymentu wykorzystującego narzędzie do tworzenia powiadomień użyj okna dialogowego Udostępnij wiadomość , aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Zdalnej konfiguracji wybierz wariant, aby określić, które wartości parametrów Zdalnej konfiguracji mają zostać zaktualizowane. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu są dodawane jako nowy warunek w szablonie, aby mieć pewność, że wdrożenie wpłynie tylko na użytkowników, na których jest ukierunkowany eksperyment. Po kliknięciu opcji Przejrzyj w aplikacji Remote Config w celu przejrzenia zmian kliknij opcję Opublikuj zmiany , aby zakończyć wdrażanie.
    • W przypadku eksperymentu z komunikatami w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię z komunikatem w aplikacji. Po wybraniu nastąpi przekierowanie do ekranu tworzenia FIAM, aby wprowadzić zmiany (jeśli są wymagane) przed publikacją.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby testy A/B pozwoliły na wybranie lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
  2. Wybierz działający eksperyment, który chcesz edytować.
  3. W przeglądzie eksperymentu kliknij menu kontekstowe ( ), a następnie kliknij opcję Edytuj trwający eksperyment .
  4. W oknie dialogowym Kierowanie wyświetlana jest opcja zwiększenia odsetka użytkowników biorących udział w trwającym eksperymencie. Wybierz liczbę większą niż bieżący procent i kliknij Opublikuj . Eksperyment zostanie przeniesiony do określonego odsetka użytkowników.

Duplikuj lub przerwij eksperyment

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
  2. Kliknij opcję Zakończono lub Trwa , przytrzymaj wskaźnik nad eksperymentem, kliknij menu kontekstowe ( ), a następnie kliknij opcję Powiel eksperyment lub Zatrzymaj eksperyment .

Targetowanie użytkowników

Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z następujących kryteriów kierowania na użytkowników.

Kryterium targetowania Operator(zy) Wartości Notatka
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne
Wpisz wartość dla jednej lub większej liczby wersji aplikacji, które chcesz uwzględnić w eksperymencie.

Jeśli używasz dowolnego operatora zawiera , nie zawiera lub pasuje dokładnie , możesz podać listę wartości oddzielonych przecinkami.

Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu znaków wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego.

Odbiorcy użytkowników obejmuje wszystkie,
obejmuje co najmniej jeden z,
nie obejmuje wszystkich,
nie obejmuje co najmniej jednego z
Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. Gromadzenie danych w przypadku niektórych eksperymentów skierowanych do odbiorców Google Analytics może zająć kilka dni, ponieważ podlegają opóźnieniom w przetwarzaniu danych Analytics. Opóźnienie to najczęściej występuje w przypadku nowych użytkowników, którzy zazwyczaj są dodawani do kwalifikujących się grup odbiorców w ciągu 24–48 godzin od utworzenia, lub w przypadku niedawno utworzonych grup odbiorców .
Własność użytkownika Dla tekstu:
zawiera,
nie zawiera,
dokładnie pasuje,
zawiera wyrażenie regularne

Dla liczb:
<, ≤, =, ≥, >
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać objęci eksperymentem, i oferuje szereg opcji wyboru wartości właściwości użytkownika.

Na kliencie można ustawić tylko wartości ciągów dla właściwości użytkownika. W przypadku warunków korzystających z operatorów numerycznych usługa zdalnej konfiguracji konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.
Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu znaków wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego.
Kraj/region Nie dotyczy Co najmniej jeden kraj lub region użyty do wybrania użytkowników, którzy mogą zostać objęci eksperymentem.
Języki Nie dotyczy Co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać objęci eksperymentem.
Najpierw otwarte Więcej niż
Mniej niż
Między
Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia aplikacji, podanego w dniach.
Ostatnie zaangażowanie w aplikację Więcej niż
Mniej niż
Między
Kieruj reklamy na użytkowników na podstawie ich ostatniego kontaktu z Twoją aplikacją, podanego w dniach.

Metryki testów A/B

Tworząc eksperyment, wybierasz metrykę podstawową, czyli cel , która służy do określenia zwycięskiego wariantu. Warto także śledzić inne dane, które pomogą Ci lepiej zrozumieć skuteczność każdego wariantu eksperymentu i śledzić ważne trendy, które mogą się różnić w przypadku każdego wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie pięć wskaźników innych niż cele.

Załóżmy na przykład, że dodałeś do swojej aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność dwóch różnych wiadomości „szturchających”. W takim przypadku możesz zdecydować się na ustawienie przychodów z zakupów jako wskaźnika celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które spowodowało najwyższy przychód z zakupów w aplikacji. A ponieważ chcesz także śledzić, który wariant zapewnił więcej przyszłych konwersji i utrzymał użytkowników, możesz dodać następujące elementy w sekcji Inne dane do śledzenia :

  • Szacunkowe całkowite przychody , aby sprawdzić, jak różnią się łączne przychody z zakupów w aplikacji i reklam w obu wariantach
  • Retencja (1 dzień) , Retencja (2-3 dni) , Retencja (4-7 dni) do śledzenia dziennego/tygodniowego utrzymania użytkownika

Poniższe tabele zawierają szczegółowe informacje na temat sposobu obliczania wskaźników celów i innych wskaźników.

Metryki celów

Metryczny Opis
Użytkownicy bez awarii Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji, wykrytych przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacowane przychody z reklam Szacunkowe zarobki z reklam.
Szacunkowe całkowite przychody Łączna wartość zakupu i szacunkowe przychody z reklam.
Przychody z zakupu Łączna wartość wszystkich zdarzeń purchase i in_app_purchase .
Retencja (1 dzień) Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Retencja (2-3 dni) Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 2-3 dni.
Retencja (4-7 dni) Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 4-7 dni.
Retencja (8-14 dni) Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 8-14 dni.
Przechowywanie (ponad 15 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji 15 lub więcej dni od ostatniego użycia.
pierwsze_otwarte Zdarzenie Analytics uruchamiane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używany jako część ścieżki konwersji.

Inne metryki

Metryczny Opis
powiadomienie_odrzucenie Zdarzenie Analytics wyzwalane w przypadku odrzucenia powiadomienia wysłanego przez narzędzie do tworzenia powiadomień (tylko na Androidzie).
powiadomienie_odbiór Zdarzenie Analytics uruchamiane po odebraniu powiadomienia wysłanego przez narzędzie do tworzenia powiadomień, gdy aplikacja działa w tle (tylko na Androidzie).
aktualizacja_os Zdarzenie Analytics śledzące aktualizację systemu operacyjnego urządzenia do nowej wersji. Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie .
widok_ekranu Zdarzenie Analytics śledzące ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Śledzenie wyświetleń ekranu .
początek_sesji Zdarzenie Analytics, które zlicza sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie .