Join us in person and online for Firebase Summit on October 18, 2022. Learn how Firebase can help you accelerate app development, release your app with confidence, and scale with ease. Register now

Twórz eksperymenty z wiadomościami w aplikacji za pomocą testów A/B

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Kiedy docierasz do swoich użytkowników lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że zrobiłeś to dobrze. Testy A/B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji poprzez testowanie wariantów wiadomości na wybranych fragmentach Twojej bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie lub konwersja oferty, testy A/B mogą przeprowadzić analizę statystyczną, aby określić, czy wariant wiadomości jest lepszy od punktu odniesienia dla wybranego celu.

Aby przetestować warianty funkcji A/B z linią bazową, wykonaj następujące czynności:

  1. Stwórz swój eksperyment.
  2. Sprawdź poprawność eksperymentu na urządzeniu testowym.
  3. Zarządzaj swoim eksperymentem.

Utwórz eksperyment

Eksperyment wykorzystujący funkcję Firebase Wysyłanie wiadomości w aplikacji pozwala ocenić wiele wariantów jednej wiadomości w aplikacji.

  1. Zaloguj się w konsoli Firebase i sprawdź, czy w Twoim projekcie włączono Google Analytics, aby eksperyment miał dostęp do danych Analytics.

    Jeśli nie włączyłeś Google Analytics podczas tworzenia projektu, możesz go włączyć na karcie Integracje , do której możesz uzyskać dostęp za pomocą > Ustawienia projektu w konsoli Firebase .

  2. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .

  3. Kliknij Utwórz eksperyment , a po wyświetleniu monitu o usługę, z którą chcesz poeksperymentować, wybierz opcję Wiadomości w aplikacji .

  4. Możesz też na pasku nawigacyjnym konsoli Firebase rozwinąć Zaangażowanie , a następnie kliknąć Wysyłanie wiadomości w aplikacji . Następnie kliknij Nowy eksperyment .

  5. Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij przycisk Dalej .

  6. Wypełnij pola kierowania , najpierw wybierając aplikację, która korzysta z eksperymentu. Możesz także skierować podzbiór użytkowników do udziału w eksperymencie, wybierając opcje obejmujące:

    • Wersja: co najmniej jedna wersja Twojej aplikacji
    • Odbiorcy użytkowników: grupy odbiorców Analytics używane do kierowania na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Właściwość użytkownika: co najmniej jedna właściwość użytkownika Analytics służąca do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Kraj/region: co najmniej jeden kraj lub region do wyboru użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Język urządzenia: co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Pierwsze otwarcie: kierowanie na użytkowników na podstawie pierwszego otwarcia Twojej aplikacji
    • Ostatnie zaangażowanie w aplikację: kieruj reklamy na użytkowników na podstawie ostatniego kontaktu z Twoją aplikacją
  7. Ustaw procent docelowych użytkowników: wybierz procent bazy użytkowników Twojej aplikacji spełniającej kryteria ustawione w sekcji Docelowi użytkownicy , którą chcesz równomiernie podzielić między podstawę a co najmniej jeden wariant w eksperymencie. Może to być dowolny procent od 0,01% do 100%. Procenty są losowo ponownie przypisywane użytkownikom w przypadku każdego eksperymentu, w tym zduplikowanych eksperymentów.

  8. W sekcji Warianty skonfiguruj linię bazową wiadomości w aplikacji do wysłania do grupy linii bazowych przy użyciu interfejsu projektowania wiadomości używanego w normalnej kampanii wiadomości w aplikacji.

  9. Aby dodać wariant do eksperymentu, kliknij Dodaj wariant . Domyślnie eksperymenty mają jedną linię bazową i jeden wariant.

  10. (opcjonalnie) Wprowadź nazwę dla każdego wariantu w eksperymencie, aby zastąpić nazwy Wariant A , Wariant B itd.

  11. (opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty , aby porównać jeszcze jeden wariant wiadomości obok wiadomości bazowej.

  12. Zdefiniuj dane celu eksperymentu, które będą używane podczas oceny wariantów eksperymentu, wraz z wszelkimi żądanymi dodatkowymi danymi z listy rozwijanej. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.

  13. Skonfiguruj harmonogram eksperymentu:

    • Ustaw datę rozpoczęcia i zakończenia eksperymentu.
    • Ustaw sposób wyzwalania wiadomości w aplikacji we wszystkich wariantach.
  14. Kliknij Sprawdź , aby zapisać eksperyment.

Dozwolone jest do 300 eksperymentów na projekt, które mogą składać się z maksymalnie 24 uruchomionych eksperymentów, a reszta to wersja robocza lub ukończona.

Sprawdź poprawność eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniania instalacji. Możesz użyć tego tokena do przetestowania konkretnych wariantów eksperymentu na urządzeniu testowym z zainstalowaną Twoją aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:

  1. Uzyskaj token uwierzytelniania instalacji w następujący sposób:

    Szybki

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Cel C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  3. Kliknij opcję Wersja robocza (i/lub Uruchom w przypadku eksperymentów ze Zdalną konfiguracją), najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij Zarządzaj urządzeniami testowymi .
  4. Wprowadź token uwierzytelniania instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie testowe.
  5. Uruchom aplikację i potwierdź, że wybrany wariant jest odbierany na urządzeniu testowym.

Aby dowiedzieć się więcej o instalacjach Firebase, zobacz Zarządzanie instalacjami Firebase .

Zarządzaj swoim eksperymentem

Niezależnie od tego, czy tworzysz eksperyment za pomocą Zdalnej konfiguracji, kreatora powiadomień czy funkcji Firebase In-App Messaging, możesz następnie zweryfikować i rozpocząć eksperyment, monitorować eksperyment w trakcie jego trwania i zwiększyć liczbę użytkowników uwzględnionych w trwającym eksperymencie.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie udostępnić je wszystkim użytkownikom. Możesz też przeprowadzić kolejny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij opcję Wersja robocza , a następnie kliknij tytuł eksperymentu.
  3. Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaliby uwzględnieni w eksperymencie, rozwiń szczegóły wersji roboczej i poszukaj liczby większej niż 0% w sekcji Kierowanie i dystrybucja (na przykład 1% użytkowników spełniających kryteria ).
  4. Aby zmienić eksperyment, kliknij Edytuj .
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment . Jednocześnie możesz przeprowadzić do 24 eksperymentów na projekt.

Monitoruj eksperyment

Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają wyniki dla użytkowników, którzy do tej pory uczestniczyli w eksperymencie.

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij Uruchomiony , a następnie kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie można wyświetlić różne zaobserwowane i modelowane statystyki dotyczące prowadzonego eksperymentu, w tym:

    • % różnicy w stosunku do wartości bazowej : miara poprawy metryki dla danego wariantu w porównaniu do wartości bazowej. Obliczany przez porównanie zakresu wartości wariantu z zakresem wartości odniesienia.
    • Prawdopodobieństwo pokonania linii bazowej : Szacowane prawdopodobieństwo, że dany wariant przekroczy linię bazową dla wybranej metryki.
    • observed_metric na użytkownika : na podstawie wyników eksperymentu jest to przewidywany zakres, w którym z czasem będzie mieścić się wartość metryki.
    • Całkowita observed_metric : zaobserwowana skumulowana wartość dla linii bazowej lub wariantu. Wartość służy do pomiaru skuteczności każdego wariantu eksperymentu i służy do obliczania poprawy , zakresu wartości , prawdopodobieństwa pokonania linii bazowej i prawdopodobieństwa uzyskania najlepszego wariantu . W zależności od mierzonych danych kolumna ta może być oznaczona etykietą „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
  3. Po pewnym czasie trwania eksperymentu (co najmniej 7 dni w przypadku FCM i wysyłania wiadomości w aplikacji lub 14 dni w przypadku Zdalnej konfiguracji) dane na tej stronie wskazują, który wariant (jeśli w ogóle) jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy przedstawiający dane w formie wizualnej.

Przeprowadź eksperyment dla wszystkich użytkowników

Po zakończeniu eksperymentu na tyle długo, że masz „lidera” lub zwycięski wariant dla danych celu, możesz wdrożyć eksperyment u 100% użytkowników. Dzięki temu możesz wybrać wariant do opublikowania dla wszystkich przyszłych użytkowników. Nawet jeśli w eksperymencie nie wyłoniono wyraźnego zwycięzcy, nadal możesz wprowadzić wariant dla wszystkich użytkowników.

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij Ukończone lub Uruchomione , kliknij eksperyment, który chcesz wdrożyć dla wszystkich użytkowników, kliknij menu kontekstowe ( ), a następnie kliknij Wdróż wariant .
  3. Rozpocznij eksperyment dla wszystkich użytkowników, wykonując jedną z następujących czynności:

    • W przypadku eksperymentu z edytorem powiadomień użyj okna dialogowego Rozwiń wiadomość, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Zdalnej konfiguracji wybierz wariant, aby określić, które wartości parametrów Zdalnej konfiguracji mają zostać zaktualizowane. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu zostaną dodane jako nowy warunek w szablonie, aby zapewnić, że wdrożenie będzie dotyczyć tylko użytkowników docelowych eksperymentu. Po kliknięciu Przejrzyj w Zdalnej konfiguracji , aby przejrzeć zmiany, kliknij Opublikuj zmiany , aby zakończyć wdrażanie.
    • W przypadku eksperymentu z wiadomościami w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię z wiadomościami w aplikacji. Po wybraniu nastąpi przekierowanie do ekranu tworzenia FIAM, aby wprowadzić zmiany (w razie potrzeby) przed opublikowaniem.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby testy A/B mogły określić lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Wybierz trwający eksperyment, który chcesz edytować.
  3. W przeglądzie eksperymentu kliknij menu kontekstowe ( ), a następnie kliknij opcję Edytuj trwający eksperyment .
  4. Okno dialogowe Kierowanie wyświetla opcję zwiększenia odsetka użytkowników biorących udział w aktualnie trwającym eksperymencie. Wybierz liczbę większą niż aktualna wartość procentowa i kliknij Opublikuj . Eksperyment zostanie wypchnięty do określonego odsetka użytkowników.

Powiel lub zatrzymaj eksperyment

  1. W sekcji Zaangażuj na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B .
  2. Kliknij Ukończone lub Uruchomione , najedź kursorem na eksperyment, kliknij menu kontekstowe ( ), a następnie kliknij Powiel eksperyment lub Zatrzymaj eksperyment .

Kierowanie na użytkowników

Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z następujących kryteriów kierowania na użytkowników.

Kryterium kierowania Operator(y) Wartość(-ci) Notatka
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne
Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymencie.

W przypadku używania dowolnego z operatorów zawiera , nie zawiera lub dokładnie pasuje do operatorów, można podać listę wartości oddzielonych przecinkami.

Używając operatora zawiera regex , możesz tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość docelowego ciągu.

Odbiorcy użytkowników obejmuje wszystkie,
zawiera co najmniej jeden z,
nie obejmuje wszystkich,
nie zawiera co najmniej jednego z
Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą być uwzględnieni w eksperymencie. Niektóre eksperymenty kierowane na odbiorców Google Analytics mogą wymagać kilku dni na zgromadzenie danych, ponieważ podlegają one opóźnieniu w przetwarzaniu danych Analytics . Najprawdopodobniej napotkasz to opóźnienie w przypadku nowych użytkowników, którzy zazwyczaj są zarejestrowani w kwalifikujących się grupach odbiorców w ciągu 24-48 godzin od utworzenia lub w przypadku niedawno utworzonych odbiorców .
Własność użytkownika Dla tekstu:
zawiera,
nie zawiera,
dokładnie pasuje,
zawiera wyrażenie regularne

Dla liczb:
<, ≤, =, ≥, >
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie, z różnymi opcjami wyboru wartości właściwości użytkownika.

Na kliencie można ustawić tylko wartości ciągów dla właściwości użytkownika. W przypadku warunków korzystających z operatorów liczbowych usługa Zdalna konfiguracja konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.
Używając operatora zawiera regex , możesz tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość docelowego ciągu.
Kraj urządzenia Nie dotyczy Co najmniej jeden kraj lub region użyty do wybrania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
Język urządzenia Nie dotyczy Co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. To kryterium kierowania jest dostępne tylko w przypadku Zdalnej konfiguracji.
Pierwsze otwarcie więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia Twojej aplikacji, określonej w dniach. To kryterium kierowania jest dostępne tylko w przypadku wysyłania wiadomości Firebase w aplikacji.
Ostatnie zaangażowanie w aplikację więcej niż
mniej niż
pomiędzy
Kieruj reklamy na użytkowników na podstawie ostatniego kontaktu z Twoją aplikacją, określonego w dniach. To kryterium kierowania jest dostępne tylko w przypadku wysyłania wiadomości Firebase w aplikacji.

Wskaźniki testów A/B

Podczas tworzenia eksperymentu wybierasz dane podstawowe, czyli cel , które służą do określenia zwycięskiego wariantu. Powinieneś także śledzić inne dane, aby lepiej zrozumieć skuteczność każdego wariantu eksperymentu i śledzić ważne trendy, które mogą się różnić dla każdego wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić do pięciu wskaźników innych niż cel.

Załóżmy na przykład, że dodałeś do swojej aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność dwóch różnych komunikatów „popychania”. W takim przypadku możesz zdecydować się na ustawienie przychodów z zakupów jako danych celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które przyniosło największe przychody z zakupów w aplikacji. A ponieważ chcesz również śledzić, która odmiana przyniosła więcej konwersji w przyszłości i zatrzymanych użytkowników, możesz dodać następujące dane w sekcji Inne dane do śledzenia :

  • Szacunkowy łączny przychód , aby zobaczyć, jak łączny przychód z zakupów w aplikacji i przychodów z reklam różni się w obu wariantach
  • Utrzymanie (1 dzień) , Utrzymanie (2-3 dni) , Utrzymanie (4-7 dni) w celu śledzenia dziennego/tygodniowego utrzymania użytkowników

Poniższe tabele zawierają szczegółowe informacje o sposobie obliczania danych celów i innych danych.

Wskaźniki celu

Metryczny Opis
Użytkownicy bez awarii Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji wykrytych przez pakiet Firebase Crashlytics SDK podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam.
Szacowane całkowite przychody Łączna wartość zakupu i szacunkowe przychody z reklam.
Przychody z zakupów Łączna wartość dla wszystkich zdarzeń purchase i in_app_purchase .
Retencja (1 dzień) Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Retencja (2-3 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 2-3 dni.
Retencja (4-7 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 4-7 dni.
Retencja (8-14 dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji w ciągu 8-14 dni.
Retencja (15+ dni) Liczba użytkowników, którzy wrócili do Twojej aplikacji co najmniej 15 dni po jej ostatnim użyciu.
pierwszy_otwarty Zdarzenie Analytics, które jest wyzwalane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używane jako część ścieżki konwersji.

Inne metryki

Metryczny Opis
powiadomienie_zwolnienie Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odrzucone (tylko Android).
odbiór_powiadomienia Zdarzenie Analytics, które jest wyzwalane, gdy powiadomienie wysłane przez kompozytora powiadomień zostanie odebrane, gdy aplikacja działa w tle (tylko Android).
os_aktualizacja Zdarzenie Analytics śledzące aktualizację systemu operacyjnego urządzenia do nowej wersji.Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie .
screen_view Zdarzenie Analytics, które śledzi ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Śledzenie wyświetleń ekranu .
sesja_początkowa Zdarzenie Analytics, które zlicza sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie .