Twórz eksperymenty z wiadomościami w aplikacji za pomocą testów A/B

Kiedy docierasz do użytkowników lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że robisz to dobrze. Testy A/B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji poprzez przetestowanie wariantów wiadomości na wybranych częściach Twojej bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsza retencja czy konwersja oferty, testy A/B mogą przeprowadzić analizę statystyczną w celu ustalenia, czy wariant wiadomości przewyższa poziom bazowy dla wybranego celu.

Aby przeprowadzić test A/B wariantów funkcji z wartością bazową, wykonaj następujące czynności:

  1. Stwórz swój eksperyment.
  2. Zweryfikuj swój eksperyment na urządzeniu testowym.
  3. Zarządzaj swoim eksperymentem.

Utwórz eksperyment

Eksperyment wykorzystujący funkcję Wiadomości w aplikacji Firebase umożliwia ocenę wielu wariantów pojedynczej wiadomości w aplikacji.

  1. Zaloguj się do konsoli Firebase i sprawdź, czy Google Analytics jest włączone w Twoim projekcie, aby eksperyment miał dostęp do danych Analytics.

    Jeśli nie włączyłeś Google Analytics podczas tworzenia projektu, możesz je włączyć na karcie Integracje , do której możesz uzyskać dostęp, wybierając > Ustawienia projektu w konsoli Firebase .

  2. W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .

  3. Kliknij opcję Utwórz eksperyment , a następnie wybierz opcję Wiadomości w aplikacji po wyświetleniu monitu o usługę, z którą chcesz eksperymentować.

  4. Ewentualnie na pasku nawigacyjnym konsoli Firebase rozwiń opcję Zaangażuj , a następnie kliknij opcję Wiadomości w aplikacji . Następnie kliknij Nowy eksperyment .

  5. Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij przycisk Dalej .

  6. Wypełnij pola Kierowanie , wybierając najpierw aplikację, która korzysta z Twojego eksperymentu. Możesz także kierować podzbiór użytkowników do udziału w eksperymencie, wybierając opcje, które obejmują:

    • Wersja: co najmniej jedna wersja Twojej aplikacji
    • Odbiorcy użytkowników: odbiorcy Analytics używani do kierowania reklam na użytkowników, którzy mogą zostać objęci eksperymentem
    • Właściwość użytkownika: co najmniej jedna właściwość użytkownika Analytics służąca do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
    • Kraj/region: jeden lub więcej krajów lub regionów służących do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
    • Język urządzenia: jeden lub więcej języków i ustawień regionalnych używanych do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
    • Pierwsze uruchomienie: kieruj reklamy na użytkowników na podstawie tego, kiedy po raz pierwszy otworzyli Twoją aplikację
    • Ostatnie zaangażowanie w aplikację: kieruj reklamy na użytkowników na podstawie czasu ich ostatniego użycia w aplikacji
  7. Ustaw procent użytkowników docelowych: wybierz odsetek użytkowników aplikacji spełniających kryteria określone w obszarze Docelowi użytkownicy , których chcesz równomiernie podzielić między poziom bazowy i jeden lub więcej wariantów w eksperymencie. Może to być dowolny procent z zakresu od 0,01% do 100%. Wartości procentowe są losowo przydzielane użytkownikom w każdym eksperymencie, w tym w przypadku zduplikowanych eksperymentów.

  8. W sekcji Warianty skonfiguruj podstawową wiadomość w aplikacji do wysłania do grupy podstawowej przy użyciu interfejsu projektowania wiadomości używanego w zwykłej kampanii wiadomości w aplikacji.

  9. Aby dodać wariant do eksperymentu, kliknij Dodaj wariant . Domyślnie eksperymenty mają jedną linię bazową i jeden wariant.

  10. (opcjonalnie) Wprowadź nazwę dla każdego wariantu w eksperymencie, aby zastąpić nazwy Wariant A , Wariant B itd.

  11. (opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty , aby porównać jeszcze jeden wariant wiadomości obok wiadomości bazowej.

  12. Zdefiniuj dane celu dla swojego eksperymentu, które będą używane podczas oceny wariantów eksperymentu, wraz z dowolnymi dodatkowymi danymi z listy rozwijanej. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.

  13. Skonfiguruj harmonogram eksperymentu:

    • Ustaw datę rozpoczęcia i zakończenia eksperymentu.
    • Ustaw sposób wyzwalania wiadomości w aplikacji we wszystkich wariantach.
  14. Kliknij Przejrzyj , aby zapisać eksperyment.

Dozwolone jest maksymalnie 300 eksperymentów na projekt, który może składać się z maksymalnie 24 uruchomionych eksperymentów, a reszta to wersja robocza lub zakończona.

Zweryfikuj swój eksperyment na urządzeniu testowym

Dla każdej instalacji Firebase możesz pobrać powiązany z nią token autoryzacji instalacji. Możesz użyć tego tokena do przetestowania określonych wariantów eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:

  1. Uzyskaj token autoryzacji instalacji w następujący sposób:

    Szybki

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Cel C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    val forceRefresh = true
    FirebaseInstallations.getInstance().getToken(forceRefresh)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  3. Kliknij Wersja robocza (i/lub Uruchomiona w przypadku eksperymentów zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij Zarządzaj urządzeniami testowymi .
  4. Wprowadź token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu do wysłania na to urządzenie testowe.
  5. Uruchom aplikację i potwierdź, że wybrany wariant jest odbierany na urządzeniu testowym.

Aby dowiedzieć się więcej o instalacjach Firebase, zobacz Zarządzanie instalacjami Firebase .

Zarządzaj swoim eksperymentem

Niezależnie od tego, czy tworzysz eksperyment za pomocą Zdalnej konfiguracji, narzędzia do tworzenia powiadomień czy usługi Firebase In-App Messaging, możesz zweryfikować i rozpocząć eksperyment, monitorować go w trakcie jego trwania oraz zwiększyć liczbę użytkowników objętych bieżącym eksperymentem.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie udostępnić te ustawienia wszystkim użytkownikom. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
  2. Kliknij opcję Wersja robocza , a następnie kliknij tytuł eksperymentu.
  3. Aby zweryfikować, czy Twoja aplikacja ma użytkowników, którzy mogliby zostać objęci eksperymentem, rozwiń szczegóły wersji roboczej i sprawdź, czy w sekcji Kierowanie i dystrybucja jest liczba większa niż 0% (na przykład 1% użytkowników spełniających kryteria ).
  4. Aby zmienić eksperyment, kliknij Edytuj .
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment . Możesz uruchomić do 24 eksperymentów na projekt na raz.

Monitoruj eksperyment

Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają Twoje wyniki dla użytkowników, którzy do tej pory uczestniczyli w eksperymencie.

  1. W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
  2. Kliknij Uruchomione , a następnie kliknij lub wyszukaj tytuł swojego eksperymentu. Na tej stronie możesz przeglądać różne obserwowane i modelowane statystyki dotyczące prowadzonego eksperymentu, w tym następujące:

    • % różnicy od wartości bazowej : miara poprawy metryki dla danego wariantu w porównaniu z wartością bazową. Obliczone przez porównanie zakresu wartości dla wariantu z zakresem wartości dla linii bazowej.
    • Prawdopodobieństwo przekroczenia linii bazowej : szacowane prawdopodobieństwo, że dany wariant przekroczy linię bazową dla wybranych danych.
    • observed_metric na użytkownika : na podstawie wyników eksperymentu jest to przewidywany zakres, w jakim wartość metryki będzie się mieścić w czasie.
    • Całkowita observed_metric : Obserwowana skumulowana wartość dla linii bazowej lub wariantu. Wartość służy do mierzenia skuteczności każdego wariantu eksperymentu i służy do obliczania poprawy , zakresu wartości , prawdopodobieństwa przekroczenia linii bazowej i prawdopodobieństwa bycia najlepszym wariantem . W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
  3. Po pewnym czasie trwania eksperymentu (co najmniej 7 dni w przypadku FCM i wiadomości w aplikacji lub 14 dni w przypadku zdalnej konfiguracji) dane na tej stronie wskazują, który wariant jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formacie wizualnym.

Przeprowadź eksperyment dla wszystkich użytkowników

Gdy eksperyment potrwa wystarczająco długo, aby mieć „lidera” lub zwycięski wariant dla danych celu, możesz wdrożyć eksperyment dla 100% użytkowników. Pozwala to wybrać wariant do opublikowania dla wszystkich użytkowników w przyszłości. Nawet jeśli Twój eksperyment nie wyłonił wyraźnego zwycięzcy, nadal możesz zdecydować się na udostępnienie wariantu wszystkim użytkownikom.

  1. W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
  2. Kliknij Zakończone lub Uruchomione , kliknij eksperyment, który chcesz wdrożyć dla wszystkich użytkowników, kliknij menu kontekstowe ( ), a następnie kliknij Wdrożenie wariantu .
  3. Przeprowadź eksperyment dla wszystkich użytkowników, wykonując jedną z następujących czynności:

    • W przypadku eksperymentu korzystającego z narzędzia do tworzenia powiadomień użyj okna dialogowego Rozpocznij wiadomość , aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie uczestniczyli w eksperymencie.
    • W przypadku eksperymentu zdalnej konfiguracji wybierz wariant, aby określić, które wartości parametrów zdalnej konfiguracji mają zostać zaktualizowane. Kryteria kierowania określone podczas tworzenia eksperymentu zostaną dodane jako nowy warunek w Twoim szablonie, aby wdrożenie miało wpływ tylko na użytkowników docelowych eksperymentu. Po kliknięciu Przejrzyj w Zdalnej konfiguracji , aby przejrzeć zmiany, kliknij Opublikuj zmiany , aby zakończyć wdrażanie.
    • W przypadku eksperymentu z wiadomościami w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię z wiadomościami w aplikacji. Po wybraniu zostaniesz przekierowany do ekranu redagowania FIAM, aby wprowadzić zmiany (jeśli są wymagane) przed opublikowaniem.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby testy A/B mogły wskazać lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego procentu bazy użytkowników aplikacji.

  1. W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
  2. Wybierz aktywny eksperyment, który chcesz edytować.
  3. W Przeglądzie eksperymentu kliknij menu kontekstowe ( ), a następnie kliknij Edytuj bieżący eksperyment .
  4. W oknie dialogowym Kierowanie wyświetlana jest opcja zwiększenia odsetka użytkowników biorących udział w aktualnie uruchomionym eksperymencie. Wybierz liczbę większą niż bieżący procent i kliknij Publikuj . Eksperyment zostanie wypchnięty do określonego przez Ciebie odsetka użytkowników.

Zduplikuj lub zatrzymaj eksperyment

  1. W sekcji Zaangażowanie paska nawigacyjnego konsoli Firebase kliknij Testy A/B .
  2. Kliknij Zakończone lub Uruchomione , najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij Powiel eksperyment lub Zatrzymaj eksperyment .

Kierowanie na użytkownika

Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z poniższych kryteriów kierowania na użytkowników.

Kryterium kierowania Operator(zy) Wartość(e) Notatka
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne
Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymencie.

Używając dowolnego z operatorów zawiera , nie zawiera lub dokładnie dopasowuje , możesz podać listę wartości oddzielonych przecinkami.

Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego.

Odbiorcy użytkowników obejmuje wszystkie,
obejmuje co najmniej jeden z
nie obejmuje wszystkich,
nie obejmuje co najmniej jednego z
Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać objęci eksperymentem. Gromadzenie danych w przypadku niektórych eksperymentów kierowanych na odbiorców Google Analytics może zająć kilka dni, ponieważ są one narażone na opóźnienia w przetwarzaniu danych Analytics . To opóźnienie jest najbardziej prawdopodobne w przypadku nowych użytkowników, którzy są zwykle zapisywani do kwalifikujących się odbiorców 24-48 godzin po utworzeniu lub w przypadku niedawno utworzonych list odbiorców .
Właściwość użytkownika dla tekstu:
zawiera,
nie zawiera,
dokładnie pasuje,
zawiera wyrażenie regularne

Dla liczb:
<, ≤, =, ≥, >
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać włączeni do eksperymentu, wraz z szeregiem opcji wyboru wartości właściwości użytkownika.

Na kliencie można ustawić tylko wartości ciągu dla właściwości użytkownika. W przypadku warunków korzystających z operatorów numerycznych usługa Remote Config konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.
Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego.
Kraj/region Nie dotyczy Jeden lub więcej krajów lub regionów użytych do wybrania użytkowników, którzy mogą zostać objęci eksperymentem.
Języki Nie dotyczy Jeden lub więcej języków i ustawień regionalnych użytych do wybrania użytkowników, którzy mogą zostać objęci eksperymentem.
Pierwszy otwarty Więcej niż
Mniej niż
Między
Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia Twojej aplikacji (w dniach).
Ostatnie zaangażowanie w aplikację Więcej niż
Mniej niż
Między
Kieruj reklamy na użytkowników na podstawie czasu ich ostatniej interakcji z Twoją aplikacją, określonego w dniach.

Metryki testów A/B

Tworząc eksperyment, wybierasz podstawowe lub docelowe dane, które są używane do określenia zwycięskiego wariantu. Powinieneś także śledzić inne dane, aby lepiej zrozumieć skuteczność każdego wariantu eksperymentu i śledzić ważne trendy, które mogą się różnić dla każdego wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W swoim eksperymencie możesz śledzić maksymalnie pięć wskaźników niezwiązanych z celem.

Załóżmy na przykład, że dodałeś do swojej aplikacji nowe zakupy i chcesz porównać skuteczność dwóch różnych komunikatów zachęcających. W takim przypadku możesz zdecydować się na ustawienie Przychodu z zakupów jako miernika celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które przyniosło najwyższy przychód z zakupów w aplikacji. A ponieważ chcesz też śledzić, który wariant doprowadził do większej liczby przyszłych konwersji i utrzymania użytkowników, możesz dodać następujące dane w sekcji Inne dane do śledzenia :

  • Szacunkowy całkowity przychód , aby zobaczyć, jak łączne przychody z zakupów w aplikacji i reklam różnią się między tymi dwoma wariantami
  • Retencja (1 dzień) , Retencja (2-3 dni) , Retencja (4-7 dni) do śledzenia dziennego/tygodniowego utrzymania użytkownika

Poniższe tabele zawierają szczegółowe informacje na temat sposobu obliczania metryk celu i innych metryk.

Metryki celu

Metryczny Opis
Użytkownicy bez awarii Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji wykrytych przez pakiet Firebase Crashlytics SDK podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam.
Szacowany całkowity przychód Łączna wartość zakupu i szacowane przychody z reklam.
Przychody z zakupów Łączna wartość dla wszystkich zdarzeń purchase i in_app_purchase .
Retencja (1 dzień) Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Retencja (2-3 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2-3 dni.
Retencja (4-7 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4-7 dni.
Retencja (8-14 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 8-14 dni.
Przechowywanie (ponad 15 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji po 15 lub więcej dniach od ostatniego użycia.
pierwszy_otwarty Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownej instalacji. Używany jako część ścieżki konwersji.

Inne wskaźniki

Metryczny Opis
powiadomienie_odrzucić Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez twórcę powiadomień zostanie odrzucone (tylko Android).
powiadomienie_odbiór Zdarzenie Analytics, które jest wyzwalane po odebraniu powiadomienia wysłanego przez twórcę powiadomień, gdy aplikacja działa w tle (tylko Android).
os_update Zdarzenie Analytics, które śledzi aktualizację systemu operacyjnego urządzenia do nowej wersji. Aby dowiedzieć się więcej, zobacz Zdarzenia gromadzone automatycznie .
widok_ekranu Zdarzenie Analytics, które śledzi ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Śledzenie wyświetleń ekranu .
rozpoczęcie_sesji Zdarzenie Analytics, które zlicza sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Zdarzenia gromadzone automatycznie .