Tworzenie eksperymentów Zdalnej konfiguracji Firebase z Testami A/B

Jeśli używasz Firebase Remote Config do wdrażania ustawień aplikacji z aktywnymi użytkownikami, musisz się upewnić, że wszystko jest prawidłowo skonfigurowane. Eksperymenty A/B Testing możesz wykorzystać do określenia:

• Najlepszy sposób wdrożenia funkcji, aby zoptymalizować wrażenia użytkownika. Często deweloperzy aplikacji nie dowiadują się, że ich użytkownicy nie podobają się im nowe funkcje lub zaktualizowane środowisko, dopóki ocena ich aplikacji w sklepie z aplikacjami nie spadnie. Testy A/B mogą pomóc Ci sprawdzić, czy użytkownicy lubią nowe wersje funkcji, czy wolą aplikację w jej obecnej formie. Poza tym pozostawienie większości użytkowników w grupie podstawowej zapewnia, że większość użytkowników może nadal korzystać z aplikacji bez żadnych zmian w jej działaniu ani wyglądzie do zakończenia eksperymentu.
• Najlepszy sposób na zoptymalizowanie wrażeń użytkowników pod kątem celu biznesowego. Czasami wprowadzasz zmiany w usłudze, aby zmaksymalizować dane, takie jak przychody lub retencja. Za pomocą testów A/B określasz cel biznesowy, a Firebase przeprowadza analizę statystyczną, aby określić, czy wariant jest skuteczniejszy od punktu odniesienia dla wybranego celu.

Aby przeprowadzić test A/B wariantów cech z użyciem punktu odniesienia:

1. Utwórz eksperyment.
2. Sprawdź eksperyment na urządzeniu testowym.
3. Zarządzaj eksperymentem.

Utwórz eksperyment

Eksperyment Remote Config umożliwia ocenę wielu wariantów pod kątem co najmniej 1 parametru Remote Config.

1. Zaloguj się w konsoli Firebase i sprawdź, czy w Twoim projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.

   Jeśli podczas tworzenia projektu nie włączysz usługi Google Analytics, możesz to zrobić na karcie Integracje, do której możesz przejść, klikając settings > Ustawienia projektu w Firebase konsoli.

2. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.

3. Kliknij Utwórz eksperyment, a następnie wybierz Remote Config, gdy pojawi się prośba o wybranie usługi, z którą chcesz przeprowadzić eksperyment.

4. Wpisz nazwę i opcjonalnie opis eksperymentu, a potem kliknij Dalej.

5. Wypełnij pola Kierowanie, najpierw wybierając aplikację, która korzysta z eksperymentu. Możesz też wybrać podzbiór użytkowników, którzy wezmą udział w eksperymencie. Aby to zrobić, kliknij i, a potem wybierz opcje z tej listy:

   • Wersja: co najmniej 1 wersja aplikacji.
   • Numer kompilacji: kod wersji aplikacji.
   • Języki: co najmniej 1 język lub zestaw języków i lokalizacji, na podstawie których można wybrać użytkowników, którzy mogą wziąć udział w eksperymencie.
   • Kraj/region: co najmniej jeden kraj lub region do wyboru użytkowników, którzy mają wziąć udział w eksperymencie.
   • Odbiorcy użytkowników: Analytics list odbiorców używanych do kierowania reklam na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
   • Właściwość użytkownika: co najmniej 1 właściwość użytkownika Analytics do wybierania użytkowników, którzy mogą być uwzględnieni w eksperymencie.

   • Pierwsze uruchomienie: kieruj reklamy na użytkowników, którzy po raz pierwszy uruchomili Twoją aplikację.

     Kierowanie na użytkowników według czasu pierwszego otwarcia jest dostępne po wybraniu aplikacji na Androida lub iOS. Jest ono obsługiwane przez następujące wersje pakietu SDK Remote Config: Apple platform SDK w wersji 9.0.0 lub nowszej oraz Android SDK w wersji 21.1.1 lub nowszej (Firebase BoM w wersji 30.3.0 lub nowszej).

     Analytics musi też być włączona na kliencie podczas pierwszego zdarzenia open.

6. Ustaw Odsetek użytkowników docelowych: podaj odsetek użytkowników aplikacji, którzy spełniają kryteria określone w sekcji Użytkownicy docelowi, i których chcesz równomiernie rozdzielić między punkt odniesienia a co najmniej 1 wariant w eksperymencie. Może ona wynosić dowolną wartość procentową z zakresu 0,01–100%. Użytkownicy są przypisywani do każdego eksperymentu losowo. Dotyczy to również eksperymentów powielonych.

7. Opcjonalnie możesz ustawić zdarzenie aktywacji, aby w eksperymencie były liczone tylko dane o użytkownikach, którzy jako pierwsi wywołali zdarzenie Analytics. Pamiętaj, że wszyscy użytkownicy, którzy spełniają Twoje parametry kierowania, otrzymają wartości eksperymentalne Remote Config, ale w wynikach eksperymentu zostaną uwzględnieni tylko ci, którzy wywołają zdarzenie aktywujące.

   Aby eksperyment był prawidłowy, sprawdź, czy wybrane zdarzenie następuje po aktywowaniu pobranych wartości konfiguracyjnych w aplikacji. Nie można też używać tych zdarzeń, ponieważ występują one zawsze przed aktywacją pobieranych wartości:

   • app_install
   • app_remove
   • app_update
   • dynamic_link_first_open

8. W sekcji Cele eksperymentu wybierz podstawowe dane do śledzenia i dodaj z listy dodatkowe dane, które chcesz śledzić. Obejmuje to wbudowane cele (zakupy, przychody, retencja, użytkownicy bez awarii itp.), Analytics zdarzeń konwersji i innych zdarzeń Analytics. Gdy skończysz, kliknij Dalej.

9. W sekcji Warianty wybierz punkt odniesienia i co najmniej 1 wariant do eksperymentu. Aby dodać parametry, z którymi chcesz eksperymentować, użyj opcji Wybierz lub utwórz nową listę. Możesz utworzyć parametr, który nie był wcześniej używany w konsoli Firebase, ale musi on istnieć w Twojej aplikacji, aby mógł mieć jakikolwiek wpływ. Możesz powtórzyć ten krok, aby dodać do eksperymentu kilka parametrów.

10. (Opcjonalnie) Aby dodać więcej niż 1 wariant do eksperymentu, kliknij Dodaj kolejny wariant.

11. Zmień co najmniej 1 parametr w określonych wersjach. Wszystkie niezmienione parametry są takie same w przypadku użytkowników nieuwzględnionych w eksperymencie.

12. Rozwiń Wagi wariantu, aby wyświetlić lub zmienić wagę wariantu na potrzeby eksperymentu. Domyślnie każdy wariant ma taką samą wagę. Pamiętaj, że nierówne rozłożenie wag może wydłużyć czas zbierania danych oraz że nie można zmienić tych ustawień po rozpoczęciu eksperymentu.

13. Kliknij Sprawdź, aby zapisać eksperyment.

Możesz utworzyć maksymalnie 300 eksperymentów na projekt, co może się składać z maksymalnie 24 uruchomionych eksperymentów – pozostałe jako wersje robocze lub zakończone.

Weryfikowanie eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniający. Możesz użyć tego tokena do testowania określonych wariantów eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym:

1. Aby uzyskać token uwierzytelniający instalację:

   Swift

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }

   Objective-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin+KTX

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

   C++

   firebase::InitResult init_result;
   auto* installations_object = firebase::installations::Installations::GetInstance(
       firebase::App::GetInstance(), &init_result);
   installations_object->GetToken().OnCompletion(
       [](const firebase::Future<std::string>& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::installations::kErrorNone) {
           printf("Installations Auth Token %s\n", future.result()->c_str());
         }
       });

   Unity

   Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
       }
     });

2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
3. Kliknij Wersja robocza (lub Aktywny w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe (more_vert), a potem Zarządzaj urządzeniami testowymi.
4. Wpisz token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie.
5. Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.

Więcej informacji o instalacjach Firebase znajdziesz w artykule Zarządzanie instalacjami Firebase.

Zarządzanie eksperymentem

Niezależnie od tego, czy utworzysz eksperyment z wykorzystaniem narzędzia Remote Config, narzędzia do tworzenia powiadomień czy narzędzia Firebase In-App Messaging, możesz następnie zweryfikować i rozpocząć eksperyment, monitorować go w trakcie jego trwania oraz zwiększyć liczbę użytkowników, którzy będą w nim uczestniczyć.

Po zakończeniu eksperymentu możesz zapisać ustawienia używane przez najlepszy wariant, a potem wdrożyć je dla wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
2. Kliknij kolejno Wersja robocza i tytuł eksperymentu.
3. Aby upewnić się, że aplikacja ma użytkowników, którzy mogą zostać objęci eksperymentem, rozwiń szczegóły wersji roboczej i w sekcji Kierowanie i dystrybucja sprawdź wartość większą niż 0% (np. 1% użytkowników spełniających kryteria).
4. Aby zmienić eksperyment, kliknij Edytuj.
5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz prowadzić maksymalnie 24 eksperymenty na projekt naraz.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzić jego postępy i zobaczyć, jakie są wyniki w przypadku użytkowników, którzy do tej pory brali udział w eksperymencie.

1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.

2. Kliknij W trakcie, a potem kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie możesz wyświetlić różne statystyki obserwowane i modelowane dotyczące trwającego eksperymentu, w tym:

   • % różnicy w stosunku do punktu odniesienia: miara poprawy wskaźnika w danym wariancie w stosunku do punktu odniesienia. Obliczany przez porównanie zakresu wartości wariantu z zakresem wartości wartości odniesienia.
   • Prawdopodobieństwo przekroczenia wartości podstawowej: szacunkowe prawdopodobieństwo, że dany wariant będzie miał lepszy wynik niż wartość bazowa wybranego wskaźnika.
   • observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym będzie się znajdować wartość danych w ciągu czasu.
   • Łącznie observed_metric: zaobserwowana wartość skumulowana dla wartości bazowej lub wariantu. Wartość ta służy do pomiaru skuteczności poszczególnych wersji eksperymentu i obliczania poprawy, zakresu wartości, prawdopodobieństwo pokonania punktu odniesienia i prawdopodobieństwo bycia najlepszą wersją. W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.

3. Po pewnym czasie działania eksperymentu (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config) dane na tej stronie wskazują, który wariant jest najlepszy (o ile w ogóle występuje). Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formacie wizualnym.

Wdrożenie eksperymentu dla wszystkich użytkowników

Gdy eksperyment będzie trwał wystarczająco długo, aby zidentyfikować „lidera” lub najlepszy wariant na podstawie danych związanych z realizacją celu, możesz wdrożyć eksperyment dla wszystkich użytkowników. Dzięki temu możesz wybrać wariant, który będzie publikowany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłonił odmiany wyraźnie lepszej, możesz nadal udostępnić wariant wszystkim użytkownikom.

1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
2. Kliknij Ukończono lub Trwa, wybierz eksperyment, który chcesz udostępnić wszystkim użytkownikom, kliknij menu kontekstowe (more_vert) Wdróż wariant.

3. Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z tych czynności:

   • W przypadku eksperymentu, który korzysta z narzędzia do tworzenia powiadomień, użyj okna Wprowadzanie wiadomości, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
   • W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które wartości parametru Remote Config chcesz zmienić. Kryteria kierowania określone podczas tworzenia eksperymentu są dodawane do szablonu jako nowy warunek, aby mieć pewność, że wdrożenie dotyczy tylko użytkowników, których obejmuje eksperyment. Po kliknięciu Sprawdź w konfiguracji zdalnej, aby sprawdzić zmiany, kliknij Opublikuj zmiany, aby ukończyć wdrażanie.
   • W przypadku eksperymentu In-App Messaging użyj okna dialogowego, aby określić, która wersja ma zostać wdrożona jako samodzielna kampania In-App Messaging. Po wybraniu nastąpi przekierowanie na ekran tworzenia wiadomości FIAM, gdzie możesz wprowadzić ewentualne zmiany przed opublikowaniem.

Rozwijanie eksperymentu

Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testingmogło wyłonić zwycięzcę, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.

1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
2. Wybierz trwający eksperyment, który chcesz edytować.
3. W Przeglądzie eksperymentu kliknij menu kontekstowe (more_vert), a następnie Edytuj aktywny eksperyment.
4. W oknie Kierowanie wyświetla się opcja zwiększenia odsetka użytkowników, którzy biorą udział w eksperymencie. Wybierz liczbę większą niż obecny odsetek i kliknij Opublikuj. Eksperyment zostanie wdrożony wśród wskazanego przez Ciebie odsetka użytkowników.

Duplikat eksperymentu lub jego zatrzymanie

1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
2. Kliknij Ukończony lub Uruchomiony, najedź kursorem na eksperyment, kliknij menu kontekstowe (more_vert), a następnie Duplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Użytkowników, których chcesz uwzględnić w eksperymencie, możesz kierować za pomocą tych kryteriów kierowania na użytkowników.

A/B Testing wskaźnika

Podczas tworzenia eksperymentu wybierasz podstawowy wskaźnik, czyli cel, który służy do określenia zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej zrozumieć skuteczność poszczególnych wariantów eksperymentu, a także ważne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 danych innych niż cele.

Załóżmy na przykład, że używasz Remote Config do uruchamiania w aplikacji 2 różnych ścieżek gry i chcesz zoptymalizować zakupy w aplikacji oraz przychody z reklam, ale jednocześnie chcesz też śledzić stabilność i utrzymanie użytkowników w przypadku każdego wariantu. W takim przypadku możesz wybrać jako dane docelowe Szacunkowe łączne przychody, ponieważ obejmują one przychody z zakupów w aplikacji i z reklam. Następnie w sekcji Inne dane do śledzenia możesz dodać te dane:

• Aby śledzić dzienny i tygodniowy wskaźnik utrzymania użytkowników, dodaj wartości Utrzymanie (2–3 dni) i Utrzymanie (4–7 dni).
• Aby porównać stabilność 2 wersji gry, dodaj użytkowników, u których nie wystąpiła awaria.
• Aby uzyskać bardziej szczegółowe widoki poszczególnych typów przychodów, dodaj kolumny Przychody z zakupów i Szacowane przychody z reklam.

W tabeli poniżej znajdziesz szczegółowe informacje o sposobie obliczania danych dotyczących celów i innych danych.

Dane celów

Inne dane

Eksportowanie danych z BigQuery

Oprócz wyświetlania danych eksperymentu A/B Testing w konsoli Firebase możesz je też sprawdzać i analizować w BigQuery. Chociaż tabela A/B Testing nie ma osobnej tabeli BigQuery, przynależność do eksperymentu i wariantu jest przechowywana w każdym zdarzeniu Google Analytics w tabelach zdarzeń Analytics.

Właściwości użytkownika, które zawierają informacje o eksperymencie, mają postać userProperty.key like "firebase_exp_%" lub userProperty.key = "firebase_exp_01", gdzie 01 to identyfikator eksperymentu, a userProperty.value.string_value zawiera indeks wariantu eksperymentu (wartość zero).

Możesz używać tych właściwości użytkownika w eksperymencie do wyodrębniania danych eksperymentu. Dzięki temu możesz dzielić wyniki eksperymentu na wiele różnych sposobów i niezależnie sprawdzać wyniki funkcji A/B Testing.

Aby rozpocząć, wykonaj te czynności zgodnie z opisem w tym przewodniku:

1. Włącz w konsoli Firebase eksport BigQuery dla Google Analytics
2. Dostęp do danych A/B Testing za pomocą BigQuery
3. Przykładowe zapytania

Włączanie eksportowania danych BigQuery do Google Analytics w konsoli Firebase

Jeśli korzystasz z abonamentu Spark, możesz używać piaskownicy BigQuery do uzyskiwania dostępu do BigQuery bezpłatnie, z zastosowaniem limitów piaskownicy. Więcej informacji znajdziesz w artykule Ceny i piaskownica BigQuery.

Najpierw sprawdź, czy dane Analytics są eksportowane do BigQuery:

1. Otwórz kartę Integracje, do której możesz przejść, klikając settings> Ustawienia projektu w konsoli Firebase.
2. Jeśli używasz już BigQuery w innych usługach Firebase, kliknij Zarządzaj. W przeciwnym razie kliknij Połącz.
3. Zapoznaj się z informacjami na temat łączenia Firebase z BigQuery, a potem kliknij Dalej.
4. W sekcji Skonfiguruj integrację włącz przełącznik Google Analytics.

5. Wybierz region i ustawienia eksportu.

6. Kliknij Połącz z BigQuery.

W zależności od tego, jak chcesz wyeksportować dane, tabele mogą być dostępne po upływie nawet 1 dnia. Więcej informacji o eksportowaniu danych projektu do BigQuery znajdziesz w artykule Eksportowanie danych projektu do usługi BigQuery.

Dostęp do danych A/B Testing w usłudze BigQuery

Zanim wykonasz zapytanie o dane dotyczące konkretnego eksperymentu, musisz uzyskać część lub wszystkie te informacje, aby użyć ich w zapytaniu:

• Identyfikator eksperymentu: możesz go znaleźć w adresie URL strony Przegląd eksperymentu. Jeśli np. adres URL wygląda tak: https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, identyfikator eksperymentu to 25.
• Identyfikator usługi Google Analytics: jest to 9-cyfrowy identyfikator usługi Google Analytics. Znajdziesz go w sekcji Google Analytics. Pojawia się też w sekcji BigQuery, gdy rozwiniesz nazwę projektu, aby wyświetlić nazwę tabeli zdarzeń Google Analytics (project_name.analytics_000000000.events).
• Data eksperymentu: aby przyspieszyć i usprawnić zapytanie, warto ograniczyć zapytania do Google Analytics partycji tabel dziennych zdarzeń, które zawierają dane eksperymentu – są to tabele oznaczone za pomocą sufiksu YYYYMMDD. Jeśli więc eksperyment trwał od 2 lutego do 2 maja 2024 r., musisz podać wartość _TABLE_SUFFIX between '20240202' AND '20240502'. Przykład znajdziesz w sekcji Wybieranie wartości określonego eksperymentu.
• Nazwy zdarzeń: zwykle odpowiadają one danym celu skonfigurowanym w eksperymencie. np. zdarzenia in_app_purchase, ad_impression lub user_retention.

Gdy już zbierzesz informacje potrzebne do wygenerowania zapytania:

1. Otwórz BigQuery w konsoli Google Cloud.
2. Wybierz projekt, a następnie kliknij Utwórz zapytanie SQL.
3. Dodaj zapytanie. Przykładowe zapytania, które należy wykonać, znajdziesz w sekcji Przeglądanie przykładowych zapytań.
4. Kliknij Wykonaj.

Wykonywanie zapytań o dane eksperymentu za pomocą zapytania wygenerowanego automatycznie przez konsolę Firebase

Jeśli korzystasz z abonamentu Blaze, na stronie Przegląd eksperymentu znajdziesz przykładowe zapytanie, które zwraca nazwę eksperymentu, jego warianty, nazwy zdarzeń i liczbę zdarzeń w eksperymencie, który wyświetlasz.

Aby uzyskać i uruchomić automatycznie wygenerowane zapytanie:

1. W konsoli Firebase otwórz A/B Testing i wybierz eksperyment A/B Testing, którego dotyczy zapytanie, aby otworzyć Przegląd eksperymentu.
2. W menu Opcje w sekcji integracji BigQuery kliknij Wysyłanie zapytań do danych eksperymentu. Spowoduje to otwarcie projektu BigQuery w konsoli Google Cloud i wyświetlenie podstawowego zapytania, którego możesz użyć do uzyskania danych eksperymentu.

Ten przykład pokazuje wygenerowane zapytanie dotyczące eksperymentu z 3 wariantami (w tym z elementem bazowym) o nazwie „Eksperyment z zimowym powitaniem”. Zwraca nazwę aktywnego eksperymentu, nazwę wariantu, niepowtarzalne zdarzenie i liczbę zdarzeń. Pamiętaj, że kreator zapytań nie podaje nazwy projektu w nazwie tabeli, ponieważ otwiera się bezpośrednio w projekcie.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Więcej przykładów zapytań znajdziesz w artykule Przykładowe zapytania.

Przykładowe zapytania

W następnych sekcjach znajdziesz przykłady zapytań, które możesz wykorzystać do wyodrębniania danych eksperymentu A/B Testing z tabel zdarzeń Google Analytics.

Wyodrębnianie wartości odchylenia standardowego zakupów i eksperymentów ze wszystkich eksperymentów

Dane z eksperymentu możesz wykorzystać do samodzielnego sprawdzania wyników Firebase A/B Testing. Ten instrukcja SQL BigQuery wyodrębnia warianty eksperymentu, liczbę unikalnych użytkowników w każdym z nich oraz sumuje łączne przychody z zdarzeń in_app_purchase i ecommerce_purchase oraz odchylenia standardowe dla wszystkich eksperymentów w zakresie dat określonym jako początek i koniec _TABLE_SUFFIX. Danych uzyskanych z tego zapytania możesz użyć w generatorze istotności statystycznej dla jednostronnych testów T, aby sprawdzić, czy wyniki dostarczane przez Firebase pasują do Twojej analizy.

Więcej informacji o tym, jak A/B Testing oblicza wnioskowanie, znajdziesz w artykule Interpretowanie wyników testu.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Wybieranie wartości konkretnego eksperymentu

Ten przykładowy zapytanie pokazuje, jak uzyskać dane dotyczące konkretnego eksperymentu w BigQuery. To przykładowe zapytanie zwraca nazwę eksperymentu, nazwy wariantów (w tym punkt odniesienia), nazwy zdarzeń i liczbę zdarzeń.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName