Google jest zaangażowany w promowanie równości rasowej dla społeczności czarnych. Zobacz jak.
Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Twórz eksperymenty z wiadomościami z testami A / B

Kiedy docierasz do swoich użytkowników lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że zrobisz to dobrze. Testy A / B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji, testując warianty wiadomości w wybranych częściach bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie, czy konwersja oferty, testy A / B mogą przeprowadzić analizę statystyczną, aby określić, czy wariant komunikatu przewyższa grupę kontrolną dla wybranego celu.

Aby przetestować warianty funkcji A / B z grupą kontrolną, wykonaj następujące czynności:

  1. Utwórz swój eksperyment.
  2. Zatwierdź swój eksperyment na urządzeniu testowym.
  3. Zarządzaj eksperymentem.

Utwórz eksperyment

Eksperyment korzystający z kompozytora powiadomień umożliwia ocenę wielu wariantów pojedynczej wiadomości z powiadomieniem.

  1. Zaloguj się do Firebase, zaktualizuj ustawienia udostępniania danych i upewnij się, że udostępnianie danych jest włączone. Bez udostępniania danych eksperyment nie będzie miał dostępu do danych analitycznych.
  2. Na pasku nawigacyjnym konsoli Firebase rozwiń Rozwiń , a następnie kliknij Testy A / B.
  3. Kliknij Utwórz eksperyment , a następnie wybierz Powiadomienia po wyświetleniu monitu o usługę, z którą chcesz eksperymentować.
  4. Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij przycisk Dalej .
  5. Wypełnij pola Kierowanie , wybierając najpierw aplikację korzystającą z eksperymentu. Możesz również skierować reklamy do podzbioru użytkowników, aby wzięli udział w eksperymencie, wybierając co najmniej jedną z następujących opcji:

    • Wersja: co najmniej jedna wersja Twojej aplikacji
    • Odbiorcy użytkowników: grupy odbiorców Analytics używane do kierowania reklam na użytkowników, którzy mogą zostać objęci eksperymentem
    • Właściwość użytkownika: co najmniej jedna właściwość użytkownika Analytics służąca do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
    • Przewidywanie: grupy użytkowników, zgodnie z przewidywaniami uczącymi się maszyn, zaangażują się w określone zachowanie
    • Kraj / region: co najmniej jeden kraj lub region do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
    • Język urządzenia: co najmniej jeden język i język używany do wybierania użytkowników, którzy mogą być objęci eksperymentem
  6. Ustaw procent docelowych użytkowników: wprowadź procent bazy użytkowników aplikacji spełniających kryteria określone w sekcji Docelowi użytkownicy , których chcesz równo podzielić między grupę kontrolną a co najmniej jeden wariant w eksperymencie. Może to być dowolny procent od 0,01% do 100%. Wartości procentowe są losowo przypisywane użytkownikom dla każdego eksperymentu, w tym eksperymentów zduplikowanych.

  7. W sekcji Warianty wpisz wiadomość do wysłania do grupy kontrolnej w polu Wprowadź tekst wiadomości . Aby nie wysyłać żadnej wiadomości do grupy kontrolnej, pozostaw to pole puste.

  8. (opcjonalnie) Aby dodać więcej niż jedną odmianę do eksperymentu, kliknij Dodaj odmianę. Domyślnie eksperymenty mają jedną grupę kontrolną i jeden wariant.

  9. (opcjonalnie) Wprowadź nazwę dla każdego wariantu w eksperymencie, aby zastąpić nazwy Wariant A , Wariant B itp.

  10. Zdefiniuj dane celu dla eksperymentu, które będą używane podczas oceny wariantów eksperymentu, wraz z wszelkimi dodatkowymi danymi z listy rozwijanej. Dane te obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), Zdarzenia konwersji Analytics i inne zdarzenia Analytics.

  11. Wybierz opcje swojej wiadomości:

    • Data dostawy: albo wybierz Wyślij teraz, aby rozpocząć eksperyment natychmiast po zapisaniu, lub Zaplanuj, aby określić czas rozpoczęcia eksperymentu w przyszłości.
    • Opcje zaawansowane: aby wybrać opcje zaawansowane dla wszystkich powiadomień uwzględnionych w eksperymencie, rozwiń Opcje zaawansowane , a następnie zmień dowolne z wymienionych opcji wiadomości.
  12. Kliknij Sprawdź, aby zapisać eksperyment.

Dozwolone jest do 100 eksperymentów na projekt, który może składać się z maksymalnie 24 uruchomionych eksperymentów, a reszta jest w wersji roboczej lub zakończona.

Zatwierdź swój eksperyment na urządzeniu testowym

Z każdą instalacją aplikacji Firebase jest powiązany token identyfikatora instancji (lub token rejestracji). Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:

  1. Uzyskaj token identyfikatora instancji w następujący sposób:

    Szybki

    InstanceID.instanceID().instanceID { (result, error) in
      if let error = error {
        print("Error fetching remote instance ID: \(error)")
      } else if let result = result {
        print("Remote instance ID token: \(result.token)")
        self.instanceIDTokenMessage.text  = "Remote InstanceID token: \(result.token)"
      }
    }
    

    Cel C

    [[FIRInstanceID instanceID] instanceIDWithHandler:^(FIRInstanceIDResult * _Nullable result,
                                                        NSError * _Nullable error) {
      if (error != nil) {
        NSLog(@"Error fetching remote instance ID: %@", error);
      } else {
        NSLog(@"Remote instance ID token: %@", result.token);
        NSString* message =
          [NSString stringWithFormat:@"Remote InstanceID token: %@", result.token];
        self.instanceIDTokenMessage.text = message;
      }
    }];
    

    Jawa

    FirebaseInstanceId.getInstance().getInstanceId()
            .addOnCompleteListener(new OnCompleteListener<InstanceIdResult>() {
                @Override
                public void onComplete(@NonNull Task<InstanceIdResult> task) {
                    Log.d("IID_TOKEN", task.getResult().getToken());
                }
            });

    Kotlin + KTX

    FirebaseInstanceId.getInstance().instanceId
            .addOnSuccessListener { result ->
                Log.d("IID_TOKEN", result.token)
            }

    C ++

    firebase::InitResult init_result;
    auto* instance_id_object = firebase::instance_id::InstanceId::GetInstanceId(
        firebase::App::GetInstance(), &init_result);
    instance_id_object->GetToken().OnCompletion(
        [](const firebase::Future<std::string>& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::instance_id::kErrorNone) {
            printf("Instance ID Token %s\n", future.result()->c_str());
          }
        });
    

    Jedność

    Firebase.InstanceId.FirebaseInstanceId.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Instance ID Token {0}", task.Result));
        }
      });
    
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A / B.
  3. Kliknij Wersja robocza , a następnie kliknij tytuł eksperymentu.
  4. Pod nagłówkiem Przegląd eksperymentu kliknij Szczegóły .
  5. Kliknij Zarządzaj urządzeniami testowymi , a następnie wprowadź token identyfikatora instancji dla urządzenia testowego i wybierz wariant eksperymentu, który ma zostać wysłany na to urządzenie testowe.
  6. Uruchom aplikację i potwierdź, że wybrany wariant jest odbierany na urządzeniu testowym.

Aby dowiedzieć się więcej o tokenie identyfikatora wystąpienia, zobacz FIRInstanceID (iOS) lub FirebaseInstanceId (Android).

Zarządzaj eksperymentem

Niezależnie od tego, czy tworzysz eksperyment ze Zdalną konfiguracją, kompozytorem powiadomień czy przesyłaniem wiadomości w aplikacji Firebase, możesz go zweryfikować i rozpocząć, monitorować trwający eksperyment i zwiększyć liczbę użytkowników biorących udział w trwającym eksperymencie.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie wprowadzić te ustawienia dla wszystkich użytkowników. Możesz też przeprowadzić kolejny eksperyment.

Rozpocznij eksperyment

  1. Na pasku nawigacyjnym konsoli Firebase rozwiń Rozwiń , a następnie kliknij Testy A / B.
  2. Kliknij Wersja robocza , a następnie kliknij tytuł eksperymentu.
  3. Aby potwierdzić, że Twoja aplikacja ma użytkowników, którzy zostaliby uwzględnieni w eksperymencie, sprawdź liczbę większą niż 0% w sekcji Kierowanie i dystrybucja (np. 1% użytkowników spełniających kryteria ).
  4. Aby zmienić eksperyment, kliknij Edytuj .
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment . W jednym projekcie możesz uruchomić do 24 eksperymentów.

Monitoruj eksperyment

Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają wyniki dla użytkowników, którzy do tej pory brali udział w eksperymencie.

  1. Na pasku nawigacyjnym konsoli Firebase kliknij Rozwijaj , a następnie kliknij Testowanie A / B.
  2. Kliknij Uruchomiony , a następnie kliknij tytuł eksperymentu. Na tej stronie można wyświetlić różne statystyki dotyczące trwającego eksperymentu, w tym dane celu i inne dane. Dla każdego wskaźnika dostępne są następujące informacje:

    • Poprawa : miara poprawy miernika dla danego wariantu w porównaniu do punktu odniesienia (lub grupy kontrolnej). Obliczono przez porównanie zakresu wartości dla wariantu z zakresem wartości dla scenariusza bazowego.
    • Prawdopodobieństwo przekroczenia linii bazowej : Szacowane prawdopodobieństwo, że dany wariant jest lepszy od linii bazowej dla wybranej metryki.
    • Prawdopodobieństwo bycia najlepszym wariantem : oszacowane prawdopodobieństwo, że dany wariant przebije inne warianty dla wybranej metryki.
    • Wartość na użytkownika : na podstawie wyników eksperymentu jest to przewidywany zakres, w jakim wartość metryki będzie się mieścić w czasie.
    • Wartość całkowita : obserwowana łączna wartość dla grupy kontrolnej lub wariantu. Wartość jest używana do mierzenia skuteczności każdego wariantu eksperymentu i służy do obliczania poprawy , zakresu wartości , prawdopodobieństwa przekroczenia linii bazowej i prawdopodobieństwa, że ​​jest to najlepszy wariant . W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
  3. Aby zwiększyć liczbę użytkowników biorących udział w eksperymencie, kliknij Zwiększ dystrybucję , a następnie wybierz większy odsetek, aby dodać więcej kwalifikujących się użytkowników do eksperymentu.

  4. Po pewnym czasie trwania eksperymentu (co najmniej 24 godziny) dane na tej stronie wskazują, który wariant (jeśli w ogóle) jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formie wizualnej.

Przeprowadź eksperyment dla wszystkich użytkowników

Po przeprowadzeniu eksperymentu dostatecznie długim i uzyskaniu „lidera” lub wariantu zwycięskiego dla danych celu, możesz wdrożyć eksperyment u 100% użytkowników. Umożliwia to wybranie wariantu do opublikowania dla wszystkich użytkowników w przyszłości. Nawet jeśli eksperyment nie przyniósł wyraźnego zwycięzcy, nadal możesz wprowadzić wariant dla wszystkich użytkowników.

  1. Na pasku nawigacyjnym konsoli Firebase kliknij Rozwijaj , a następnie kliknij Testowanie A / B.
  2. Kliknij opcję Ukończony lub Uruchomiony , kliknij eksperyment, który chcesz dla wszystkich użytkowników, kliknij menu kontekstowe ( ), a następnie kliknij opcję wariant .
  3. Przeprowadź eksperyment dla wszystkich użytkowników, wykonując jedną z następujących czynności:

    • W przypadku eksperymentu korzystającego z kompozytora powiadomień użyj okna dialogowego Rozwiń wiadomość, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Remote Config użyj okna dialogowego, aby określić, które wartości parametrów Remote Config mają zostać zmienione dla wszystkich użytkowników.
    • W przypadku eksperymentu wysyłania wiadomości w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię wysyłania wiadomości w aplikacji. Po wybraniu nastąpi przekierowanie do ekranu redagowania FIAM, aby wprowadzić zmiany (jeśli są wymagane) przed publikacją.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie przyciągnął wystarczającej liczby użytkowników, aby testy A / B mogły zostać uznane za lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. Na pasku nawigacyjnym konsoli Firebase kliknij Rozwijaj , a następnie kliknij Testowanie A / B.
  2. Kliknij Uruchomiony , najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij Zwiększ dystrybucję .
  3. Konsola wyświetla okno dialogowe z opcją zwiększenia odsetka użytkowników biorących udział w aktualnie prowadzonym eksperymencie. Wpisz liczbę większą niż bieżąca wartość procentowa i kliknij Wyślij . Eksperyment zostanie przekazany określonemu odsetkowi użytkowników.

Powiel lub zatrzymaj eksperyment

  1. Na pasku nawigacyjnym konsoli Firebase kliknij Rozwijaj , a następnie kliknij Testowanie A / B.
  2. Kliknij opcję Ukończone lub Uruchomione , najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij opcję Duplikuj lub Zatrzymaj .

Kierowanie na użytkowników

Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z następujących kryteriów kierowania na użytkowników.

Kryterium kierowania Operator (y) Wartości Uwaga
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne
Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymencie.

Używając dowolnego z operatorów zawiera , nie zawiera lub dokładnie pasuje do operatorów, możesz podać listę wartości oddzielonych przecinkami.

Korzystając z operatora zawiera wyrażenie regularne , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może dopasować całość lub część ciągu wersji docelowej. Możesz również użyć kotwic ^ i $, aby dopasować początek, koniec lub całość ciągu docelowego.

Odbiorcy użytkowników obejmuje wszystkie,
zawiera co najmniej jeden z:
nie obejmuje wszystkich,
nie zawiera co najmniej jednego z
Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą być objęci eksperymentem.
Właściwość użytkownika W przypadku tekstu:
zawiera,
nie zawiera,
dokładnie pasuje,
zawiera wyrażenie regularne

W przypadku numerów:
<, ≤, =, ≥,>
Usługa użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie, z szeregiem opcji wyboru wartości właściwości użytkownika.

Na kliencie można ustawić tylko wartości łańcuchowe dla właściwości użytkownika. W przypadku warunków, w których są używane operatory liczbowe, usługa Remote Config konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą / zmiennoprzecinkową.
Korzystając z operatora zawiera wyrażenie regularne , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może dopasować całość lub część ciągu wersji docelowej. Możesz również użyć kotwic ^ i $, aby dopasować początek, koniec lub całość ciągu docelowego.
Prognoza Nie dotyczy Kieruj reklamy na grupy użytkowników zdefiniowane przez Firebase Predictions - na przykład tych, którzy prawdopodobnie przestaną korzystać z Twojej aplikacji, lub użytkowników, którzy prawdopodobnie dokonają zakupu w aplikacji. Wybierz jedną z wartości zdefiniowanych w narzędziu Firebase Predictions. Jeśli opcja nie jest dostępna, może być konieczne włączenie się do Prognoz Firebase, przechodząc do sekcji Prognozy w konsoli Firebase.
Kraj urządzenia Nie dotyczy Co najmniej jeden kraj lub region używany do wybierania użytkowników, którzy mogą być objęci eksperymentem.
Język urządzenia Nie dotyczy Co najmniej jeden język i język używany do wybierania użytkowników, którzy mogą być objęci eksperymentem. To kryterium kierowania jest dostępne tylko w przypadku Zdalnej konfiguracji.
Pierwsze otwarcie więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia aplikacji, określonego w dniach. To kryterium kierowania jest dostępne tylko w przypadku przesyłania wiadomości w aplikacji Firebase.
Ostatnie zaangażowanie w aplikację więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie ostatniego czasu, gdy korzystali z Twojej aplikacji, określonego w dniach. To kryterium kierowania jest dostępne tylko w przypadku przesyłania wiadomości w aplikacji Firebase.

Metryki testów A / B

Podczas tworzenia eksperymentu wybierasz dane używane do porównywania wariantów eksperymentu, a także możesz wybrać inne dane do śledzenia, aby lepiej zrozumieć każdy wariant eksperymentu i wykryć wszelkie istotne skutki uboczne (takie jak awarie aplikacji). Poniższe tabele zawierają szczegółowe informacje na temat sposobu obliczania wskaźników celów i innych wskaźników.

Dane celu

Metryczny Opis
Codzienne zaangażowanie użytkowników Średni czas spędzony przez użytkownika w aplikacji dziennie.
Retencja (1 dzień) Liczba użytkowników, którzy codziennie powracają do Twojej aplikacji.
Retencja (2-3 dni) Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 2-3 dni.
Retencja (4-7 dni) Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 4-7 dni.
Retencja (8-14 dni) Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 8-14 dni.
Przechowywanie (ponad 15 dni) Liczba użytkowników, którzy powrócili do Twojej aplikacji 15 lub więcej dni po jej ostatnim użyciu.
Powiadomienie otwarte Śledzi, czy użytkownik otwiera powiadomienie wysłane przez twórcę powiadomień.
Przychody z zakupów Łączna wartość wszystkich zdarzeń ecommerce_purchase i in_app_purchase .
Szacunkowe przychody z AdMob Szacunkowe zarobki z AdMob.
Szacowane całkowite przychody Łączna wartość zakupu i szacunkowe przychody AdMob.
first_open Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używany jako część lejka konwersji.
notification_open Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik otworzy powiadomienie wysłane przez kompozytora powiadomień. Używany jako część lejka konwersji.

Inne dane

Metryczny Opis
Użytkownicy bez awarii Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji, które zostały wykryte przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
notification_dismiss Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odrzucone (tylko system Android).
notification_receive Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odebrane, gdy aplikacja działa w tle (tylko system Android).
os_update Zdarzenie Analytics, które śledzi, kiedy system operacyjny urządzenia jest aktualizowany do nowej wersji.Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie .
screen_view Zdarzenie Analytics, które śledzi ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Śledzenie wyświetleń ekranu .
session_start Zdarzenie Analytics zliczające sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz zdarzenia zbierane automatycznie .
zaangażowanie_użytkownika Zdarzenie Analytics, które jest wyzwalane okresowo, gdy aplikacja działa na pierwszym planie. Aby dowiedzieć się więcej, zobacz zdarzenia zbierane automatycznie .

Eksport danych BigQuery

W BigQuery masz dostęp do wszystkich danych analitycznych związanych z testami A / B. BigQuery umożliwia analizowanie danych za pomocą BigQuery SQL, eksportowanie ich do innego dostawcy usług w chmurze lub wykorzystanie danych w niestandardowych modelach ML. Więcej informacji znajdziesz w artykule Łączenie BigQuery z Firebase .

Aby w pełni wykorzystać możliwości eksportu danych BigQuery, projekty Firebase powinny przyjąć abonament „Blaze” z płatnością zgodnie z rzeczywistym użyciem. BigQuery nalicza opłaty za przechowywanie danych, przesyłanie strumieniowe wstawiania i wysyłanie zapytań do danych. Ładowanie i eksportowanie danych jest bezpłatne. Aby uzyskać więcej informacji, zobacz Cennik BigQuery lub piaskownicę BigQuery .

Aby rozpocząć, upewnij się, że projekt Firebase jest połączony z BigQuery. Wybierz Ustawienia> Ustawienia projektu na lewym pasku nawigacyjnym, a następnie wybierz Integracje> BigQuery> Link . Ta strona wyświetla opcje umożliwiające eksport danych analitycznych BiqQuery dla wszystkich aplikacji w projekcie.

Aby zapytać o dane analityczne na potrzeby eksperymentu:

  1. Z listy aktywnych eksperymentów wybierz żądany eksperyment, aby otworzyć stronę wyników eksperymentu.
  2. Z menu kontekstowego w panelu przeglądu eksperymentu wybierz opcję Wyświetl w BigQuery (ta opcja nie jest dostępna w przypadku projektów w warstwie bezpłatnej).

    Spowoduje to otwarcie kompozytora zapytań konsoli BigQuery z automatycznie wygenerowanym przykładowym zapytaniem dotyczącym danych eksperymentu wstępnie załadowanych do przeglądu. W tym zapytaniu eksperyment jest kodowany jako właściwość użytkownika z nazwą eksperymentu w kluczu i wariantem eksperymentu w wartości.

  3. W edytorze zapytań wybierz Uruchom zapytanie. Wyniki są wyświetlane w dolnym okienku.

Pamiętaj, że ponieważ dane Firebase w BigQuery są aktualizowane tylko raz dziennie, dane dostępne na stronie eksperymentu mogą być bardziej aktualne niż dane dostępne w konsoli BigQuery.