Twórz eksperymenty z wiadomościami za pomocą testów A/B

Kiedy docierasz do swoich użytkowników lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że zrobiłeś to dobrze. Testy A/B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji poprzez testowanie wariantów wiadomości na wybranych fragmentach Twojej bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie lub konwersja oferty, testy A/B mogą przeprowadzić analizę statystyczną, aby określić, czy wariant wiadomości przewyższa grupę kontrolną dla wybranego celu.

Aby przetestować warianty funkcji A/B z grupą kontrolną, wykonaj następujące czynności:

  1. Stwórz swój eksperyment.
  2. Sprawdź poprawność eksperymentu na urządzeniu testowym.
  3. Zarządzaj swoim eksperymentem.

Utwórz eksperyment

Eksperyment, w którym używany jest układacz powiadomień, pozwala ocenić wiele wariantów w jednym komunikacie z powiadomieniem.

  1. Zaloguj się do Firebase, zaktualizuj ustawienia udostępniania danych i upewnij się, że udostępnianie danych jest włączona. Bez udostępniania danych Twój eksperyment nie będzie miał dostępu do danych analitycznych.
  2. W sekcji Engage z Firebase konsola pasku nawigacyjnym kliknij testy A / B.
  3. Kliknij przycisk Utwórz eksperyment, a następnie wybierz powiadomienia, gdy poproszony o służbie chcesz eksperymentować.
  4. Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij Dalej.
  5. Wypełnienie pól Skierowanie, najpierw wybiera aplikację, która wykorzystuje swój eksperyment. Możesz także skierować podzbiór użytkowników do udziału w eksperymencie, wybierając opcje obejmujące:

    • Wersja: Jeden lub więcej wersje aplikacji
    • Publiczność użytkownika: widzowie Analytics używane do docelowych użytkowników, którzy mogą być uwzględnione w eksperymencie
    • Własność użytkownika: Jeden lub więcej Analytics właściwości użytkownika za wybór użytkowników, którzy mogą być uwzględnione w eksperymencie
    • Przewidywania: Grupy użytkowników przewidywanych przez uczenia maszynowego do zaangażowania się w szczególności zachowania
    • Kraj / Region: Jeden lub więcej krajów lub regionów do wybierania użytkowników, którzy mogą być uwzględnione w eksperymencie
    • Język urządzenia: Jeden lub więcej języki i lokalizacje wykorzystywane, aby wybrać użytkowników, którzy mogą być uwzględnione w eksperymencie
  6. Ustaw procent użytkowników docelowych: Wybierz procent bazy użytkowników swojej aplikacji pasujących kryteriów określonych na podstawie użytkowników docelowych, które chcesz podzielić równo między grupą kontrolną a jednym lub więcej wariantów w eksperymencie. Może to być dowolny procent od 0,01% do 100%. Procenty są losowo ponownie przypisywane użytkownikom w przypadku każdego eksperymentu, w tym zduplikowanych eksperymentów.

  7. W sekcji warianty, wpisać wiadomość i wysłać do grupy kontrolnej w polu tekstowym Wpisz wiadomość. Aby nie wysyłać wiadomości do grupy kontrolnej, pozostaw to pole puste.

  8. (opcjonalnie) Aby dodać więcej niż jeden wariant do eksperymentu, kliknij Dodaj wariant. Domyślnie eksperymenty mają jedną grupę kontrolną i jeden wariant.

  9. (opcjonalnie) Wpisz nazwę dla każdego wariantu w eksperymencie wymienić nazwiska Wariant A, Wariant B, itd.

  10. Zdefiniuj dane celu eksperymentu, które będą używane podczas oceny wariantów eksperymentu, wraz z wszelkimi żądanymi dodatkowymi danymi z listy rozwijanej. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.

  11. Wybierz opcje dla swojej wiadomości:

    • Termin dostawy: albo wybrać Wyślij teraz, aby od razu rozpocząć eksperyment na zapisywanie lub zaplanowane, aby określić czas rozpoczęcia eksperymentu w przyszłości.
    • Zaawansowane opcje: Aby wybrać zaawansowane opcje dla wszystkich powiadomień zawartych w eksperymencie rozwinąć opcje zaawansowane, a następnie zmienić którykolwiek z wymienionych opcji wiadomości.
  12. Kliknij aby zapisać swój eksperyment.

Dozwolone jest do 300 eksperymentów na projekt, które mogą składać się z maksymalnie 24 uruchomionych eksperymentów, a reszta to wersja robocza lub ukończona.

Sprawdź poprawność eksperymentu na urządzeniu testowym

Dla każdej instalacji Firebase możesz pobrać powiązany z nią token rejestracji FCM. Możesz użyć tego tokena do przetestowania konkretnych wariantów eksperymentu na urządzeniu testowym z zainstalowaną Twoją aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:

  1. Uzyskaj token rejestracji FCM w następujący sposób:

    Szybki

    Messaging.messaging().token { token, error in
      if let error = error {
        print("Error fetching FCM registration token: \(error)")
      } else if let token = token {
        print("FCM registration token: \(token)")
        self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
      }
    }
    

    Cel C

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
      if (error != nil) {
        NSLog(@"Error getting FCM registration token: %@", error);
      } else {
        NSLog(@"FCM registration token: %@", token);
        self.fcmRegTokenMessage.text = token;
      }
    }];
    

    Jawa

    FirebaseMessaging.getInstance().getToken()
        .addOnCompleteListener(new OnCompleteListener<String>() {
            @Override
            public void onComplete(@NonNull Task<String> task) {
              if (!task.isSuccessful()) {
                Log.w(TAG, "Fetching FCM registration token failed", task.getException());
                return;
              }
    
              // Get new FCM registration token
              String token = task.getResult();
    
              // Log and toast
              String msg = getString(R.string.msg_token_fmt, token);
              Log.d(TAG, msg);
              Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
            }
        });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
        if (!task.isSuccessful) {
            Log.w(TAG, "Fetching FCM registration token failed", task.exception)
            return@OnCompleteListener
        }
    
        // Get new FCM registration token
        val token = task.result
    
        // Log and toast
        val msg = getString(R.string.msg_token_fmt, token)
        Log.d(TAG, msg)
        Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
    })

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
        

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
        }
      });
    
  2. Na Firebase konsola pasku nawigacyjnym kliknij testy A / B.
  3. Kliknij projekt, najedź eksperymentu, kliknij menu kontekstowego ( ), a następnie kliknij polecenie Zarządzaj urządzeń testowych
  4. Wprowadź token FCM dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie testowe.
  5. Uruchom aplikację i potwierdź, że wybrany wariant jest odbierany na urządzeniu testowym.

Zarządzaj swoim eksperymentem

Niezależnie od tego, czy tworzysz eksperyment za pomocą Zdalnej konfiguracji, kreatora powiadomień czy funkcji Firebase In-App Messaging, możesz następnie zweryfikować i rozpocząć eksperyment, monitorować eksperyment w trakcie jego trwania i zwiększyć liczbę użytkowników uwzględnionych w trwającym eksperymencie.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie udostępnić je wszystkim użytkownikom. Możesz też przeprowadzić kolejny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Engage z Firebase konsola pasku nawigacyjnym kliknij testy A / B.
  2. Kliknij projekt, a następnie kliknij tytuł eksperymentu.
  3. Aby potwierdzić, że aplikacja ma użytkowników, którzy zostaną uwzględnione w eksperymencie rozwinąć projekt szczegóły i sprawdzić większą liczbę niż 0% w sekcji kierowania i dystrybucji (na przykład 1% użytkowników spełniających kryteria).
  4. Aby zmienić swój eksperyment, kliknij Edytuj.
  5. Aby rozpocząć eksperyment, kliknij przycisk Rozpocznij eksperyment. Jednocześnie możesz przeprowadzić do 24 eksperymentów na projekt.

Monitoruj eksperyment

Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają wyniki dla użytkowników, którzy do tej pory uczestniczyli w eksperymencie.

  1. W sekcji Engage z Firebase konsola pasku nawigacyjnym kliknij testy A / B.
  2. Kliknij Bieganie, a następnie kliknij tytuł eksperymentu. Na tej stronie można wyświetlić różne zaobserwowane i modelowane statystyki dotyczące prowadzonego eksperymentu, w tym:

    • Różnica w% od wartości wyjściowych: Miarą poprawy metryki dla danego wariantu w porównaniu z wyjściowym (lub w grupie kontrolnej). Obliczany przez porównanie zakresu wartości wariantu z zakresem wartości odniesienia.
    • Prawdopodobieństwo na początku badania rytm: Szacunkowa prawdopodobieństwo, że dana odmiana nie przebije linię bazową dla wybranej metryki.
    • observed_metric na użytkownika: Na podstawie wyników eksperymentu, jest to, że przewidywany zakres wartości metryki wpadną w czasie.
    • Całkowita observed_metric : Stwierdzono, że skumulowana wartość dla grupy kontrolnej lub wariantu. Wartość ta jest używana do pomiaru skuteczności każdego eksperymentu wariantowych Wykonuje i służy do obliczenia Improvement, zakres wartości, prawdopodobieństwo bazowej beat, i prawdopodobieństwem być najlepszy wariant. W zależności od mierzonych danych kolumna ta może być oznaczona etykietą „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
  3. Po pewnym czasie trwania eksperymentu (co najmniej 7 dni w przypadku FCM i wysyłania wiadomości w aplikacji lub 14 dni w przypadku Zdalnej konfiguracji) dane na tej stronie wskazują, który wariant (jeśli w ogóle) jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy przedstawiający dane w formie wizualnej.

Przeprowadź eksperyment dla wszystkich użytkowników

Po zakończeniu eksperymentu na tyle długo, że masz „lidera” lub zwycięski wariant dla danych celu, możesz wdrożyć eksperyment u 100% użytkowników. Dzięki temu możesz wybrać wariant do opublikowania dla wszystkich przyszłych użytkowników. Nawet jeśli w eksperymencie nie wyłoniono wyraźnego zwycięzcy, nadal możesz wprowadzić wariant dla wszystkich użytkowników.

  1. W sekcji Engage z Firebase konsola pasku nawigacyjnym kliknij testy A / B.
  2. Kliknij Zakończono lub bieganie, kliknij eksperyment, który chcesz rozciągnąć do wszystkich użytkowników, kliknij menu kontekstowego ( ), a następnie kliknij rozwałkować wariantu.
  3. Rozpocznij eksperyment dla wszystkich użytkowników, wykonując jedną z następujących czynności:

    • Dla eksperymentu, który wykorzystuje kompozytora powiadomień, należy użyć rolki oknie przesłanie, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie byli częścią eksperymentu.
    • W przypadku eksperymentu Zdalnej konfiguracji wybierz wariant, aby określić, które wartości parametrów Zdalnej konfiguracji mają zostać zaktualizowane. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu zostaną dodane jako nowy warunek w szablonie, aby zapewnić, że wdrożenie będzie dotyczyć tylko użytkowników docelowych eksperymentu. Po kliknięciu recenzję Remote Config w celu przejrzenia zmian kliknij Opublikuj zmiany, aby zakończyć roletę.
    • W przypadku eksperymentu z wiadomościami w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię z wiadomościami w aplikacji. Po wybraniu nastąpi przekierowanie do ekranu tworzenia FIAM, aby wprowadzić zmiany (w razie potrzeby) przed opublikowaniem.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby testy A/B mogły określić lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Engage z Firebase konsola pasku nawigacyjnym kliknij testy A / B.
  2. Wybierz trwający eksperyment, który chcesz edytować.
  3. W przeglądzie Experiment, kliknij menu kontekstowego ( ), a następnie kliknij przycisk Edytuj eksperyment uruchomiony.
  4. Ukierunkowanie Okno dialogowe opcją zwiększenia odsetka użytkowników, którzy są w eksperymencie obecnie uruchomiony. Wybierz większa liczba niż obecnie procentach i kliknij Publish. Eksperyment zostanie wypchnięty do określonego odsetka użytkowników.

Powiel lub zatrzymaj eksperyment

  1. W sekcji Engage z Firebase konsola pasku nawigacyjnym kliknij testy A / B.
  2. Kliknij Zakończono lub bieganie, najedź eksperymentu, kliknij menu kontekstowego ( ), a następnie kliknij zduplikowane eksperyment lub eksperyment Stop.

Kierowanie na użytkowników

Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z następujących kryteriów kierowania na użytkowników.

Kryterium kierowania Operator(y) Wartość(-ci) Notatka
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne
Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymencie.

Podczas korzystania z któregokolwiek z zawiera, nie zawiera, lub mecze dokładnie operatorzy, można dostarczyć listę oddzielonych przecinkami wartości.

Przy użyciu operatora zawiera regex, można tworzyć wyrażenia regularne w RE2 formacie. Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Można również użyć ^ i $ kotwice dopasować początek, koniec, czy całość łańcucha docelowego.

Odbiorcy użytkowników zawiera wszystkie,
zawiera co najmniej jeden z,
nie obejmuje wszystkich,
nie zawiera co najmniej jednego z
Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą być uwzględnieni w eksperymencie.
Własność użytkownika Dla tekstu:
zawiera,
nie zawiera,
dokładnie pasuje,
zawiera wyrażenie regularne

Dla liczb:
<, ≤, =, ≥, >
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie, z różnymi opcjami wyboru wartości właściwości użytkownika.

Na kliencie można ustawić tylko wartości ciągów dla właściwości użytkownika. W przypadku warunków korzystających z operatorów liczbowych usługa Zdalna konfiguracja konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.
Przy użyciu operatora zawiera regex, można tworzyć wyrażenia regularne w RE2 formacie. Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Można również użyć ^ i $ kotwice dopasować początek, koniec, czy całość łańcucha docelowego.
Prognoza Nie dotyczy Docelowe grupy użytkowników zdefiniowane przez Prognozy Firebase — na przykład osoby, które prawdopodobnie przestaną korzystać z Twojej aplikacji lub użytkownicy, którzy prawdopodobnie dokonają zakupu w aplikacji. Wybierz jedną z wartości zdefiniowanych przez narzędzie Prognozy Firebase. Jeśli opcja jest niedostępna, konieczne może być włączenie Prognoz Firebase w sekcji Prognozy w konsoli Firebase.
Kraj urządzenia Nie dotyczy Co najmniej jeden kraj lub region użyty do wybrania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
Język urządzenia Nie dotyczy Co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. To kryterium kierowania jest dostępne tylko w przypadku Zdalnej konfiguracji.
Pierwsze otwarcie więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia Twojej aplikacji, określonej w dniach. To kryterium kierowania jest dostępne tylko w przypadku wysyłania wiadomości Firebase w aplikacji.
Ostatnie zaangażowanie w aplikację więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie ostatniego kontaktu z Twoją aplikacją, określonego w dniach. To kryterium kierowania jest dostępne tylko w przypadku wysyłania wiadomości Firebase w aplikacji.

Wskaźniki testów A/B

Podczas tworzenia eksperymentu wybierasz dane, które służą do porównywania wariantów eksperymentu, a także możesz wybrać inne dane do śledzenia, aby lepiej zrozumieć każdy wariant eksperymentu i wykryć wszelkie istotne skutki uboczne (takie jak awarie aplikacji). Poniższe tabele zawierają szczegółowe informacje o sposobie obliczania danych celów i innych danych.

Wskaźniki celu

Metryczny Opis
Retencja (1 dzień) Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Retencja (2-3 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 2-3 dni.
Retencja (4-7 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 4-7 dni.
Retencja (8-14 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 8-14 dni.
Retencja (15+ dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji co najmniej 15 dni po jej ostatnim użyciu.
Powiadomienie otwarte Śledzi, czy użytkownik otwiera powiadomienie wysłane przez kompozytora powiadomień.
Przychody z zakupów Łączna wartość dla wszystkich ecommerce_purchase i in_app_purchase wydarzeń.
Szacunkowe przychody z AdMob Szacunkowe zarobki z AdMob.
Szacowane całkowite przychody Łączna wartość zakupów i szacunkowe przychody AdMob.
pierwszy_otwarty Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używane jako część ścieżki konwersji.
powiadomienie_otwarte Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik otworzy powiadomienie wysłane przez kompozytora powiadomień. Używane jako część ścieżki konwersji.

Inne metryki

Metryczny Opis
Użytkownicy bez awarii Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji wykrytych przez pakiet Firebase Crashlytics SDK podczas eksperymentu.
powiadomienie_zwolnienie Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odrzucone (tylko Android).
odbiór_powiadomienia Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odebrane, gdy aplikacja działa w tle (tylko Android).
os_aktualizacja Analytics zdarzenie utworów, gdy system operacyjny urządzenia jest aktualizowany do nowej version.To dowiedzieć się więcej, zobacz automatycznie zbierane zdarzenia .
screen_view Zdarzenie Analytics, które śledzi ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz gąsienicy wyświetleń ekranu .
sesja_początkowa Zdarzenie Analytics, które zlicza sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz automatycznie zbierane zdarzenia .
zaangażowanie_użytkownika Zdarzenie Analytics, które jest wyzwalane okresowo, gdy aplikacja jest na pierwszym planie. Aby dowiedzieć się więcej, zobacz automatycznie zbierane zdarzenia .

Eksport danych BigQuery

Możesz uzyskać dostęp do wszystkich danych związanych z Analytics do testów A / B w BigQuery . BigQuery pozwala analizować dane za pomocą BigQuery SQL, eksportować je do innego dostawcy chmury lub używać danych do niestandardowych modeli ML. Zobacz link BigQuery do Firebase aby uzyskać więcej informacji.

Aby w pełni wykorzystać eksport danych BigQuery, projekty Firebase powinny przyjąć plan cenowy „Blaze” z płatnością zgodnie z rzeczywistym użyciem. BigQuery pobiera opłaty za przechowywanie danych, przesyłanie strumieniowe wstawek i zapytania o dane. Wczytywanie i eksportowanie danych jest bezpłatne. Zobacz Ceny BigQuery , lub piaskownicy BigQuery , aby uzyskać więcej informacji.

Aby rozpocząć, upewnij się, że Twój projekt Firebase jest połączony z BigQuery. Wybierz Ustawienia> Ustawienia projektu z lewym pasku nawigacyjnym, a następnie wybierz Integracje> BigQuery> Link. Ta strona wyświetla opcje wykonywania eksportu danych analitycznych BiqQuery dla wszystkich aplikacji w projekcie.

Aby wykonać zapytanie o dane analityczne dla eksperymentu:

  1. Z aktywnych eksperymentów listy wybierz żądany eksperyment, aby otworzyć stronę z wynikami eksperymentu.
  2. Z menu kontekstowego w oknie głównej eksperymencie wybrać Query danych eksperymentalnych (opcja ta nie jest dostępna dla projektów dotyczących swobodnego tier).

    Spowoduje to otwarcie edytora zapytań w konsoli BigQuery z automatycznie wygenerowanym przykładowym zapytaniem dotyczącym danych eksperymentu, które zostały wstępnie załadowane do sprawdzenia. W tym zapytaniu eksperyment jest zakodowany jako właściwość użytkownika z nazwą eksperymentu w kluczu i wariantem eksperymentu w wartości.

  3. W edytorze zapytań, wybierz Uruchom kwerendę. Wyniki są wyświetlane w dolnym okienku.

Pamiętaj, że ponieważ dane Firebase w BigQuery są aktualizowane tylko raz dziennie, dane dostępne na stronie eksperymentu mogą być bardziej aktualne niż dane dostępne w konsoli BigQuery.