A/B Testi ile Mesajlaşma Deneyleri Oluşturun

Kullanıcılarınıza ulaştığınızda veya yeni bir pazarlama kampanyası başlattığınızda, bunu doğru yaptığınızdan emin olmak istersiniz. A/B testi, kullanıcı tabanınızın seçilen bölümlerinde mesaj çeşitlerini test ederek en uygun ifadeyi ve sunumu bulmanıza yardımcı olabilir. Hedefiniz ister bir teklifte daha iyi elde tutma ister dönüşüm olsun, A/B testi, bir mesaj varyantının seçtiğiniz hedef için temel değerden daha iyi performans gösterip göstermediğini belirlemek için istatistiksel analiz gerçekleştirebilir.

Temelli A/B testi özelliği çeşitleri için aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Denemenizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Deneme oluştur

Bildirimler oluşturucusunu kullanan bir deneme, tek bir bildirim mesajında ​​birden çok değişkeni değerlendirmenize olanak tanır.

  1. Firebase konsolunda oturum açın ve denemenin Analytics verilerine erişebilmesi için projenizde Google Analytics'in etkinleştirildiğini doğrulayın.

    Projenizi oluştururken Google Analytics'i etkinleştirmediyseniz Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesinden etkinleştirebilirsiniz.

  2. Firebase konsolu gezinme çubuğunun Engage bölümünde A/B Testi'ni tıklayın.

  3. Deneme oluştur 'u tıklayın ve ardından deneme yapmak istediğiniz hizmet istendiğinde Bildirimler'i seçin.

  4. Denemeniz için bir Ad ve isteğe bağlı Açıklama girin ve İleri'yi tıklayın.

  5. Öncelikle denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ayrıca, aşağıdakileri içeren seçenekleri belirleyerek kullanıcılarınızın bir alt kümesini denemenize katılmaya hedefleyebilirsiniz:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Kullanıcı kitlesi: Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan Analytics kitleleri
    • Kullanıcı mülkü: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı özelliği
    • Ülke/Bölge: Denemeye dahil edilebilecek kullanıcıların seçilmesi için bir veya daha fazla ülke ya da bölge
    • Cihaz dili: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
    • İlk açılış: Kullanıcıları uygulamanızı ilk açtıkları zamana göre hedefleyin
    • Son uygulama etkileşimi: Kullanıcıları, uygulamanızla en son etkileşimde bulundukları zamana göre hedefleyin
  6. Hedef kullanıcıların yüzdesini ayarlayın: Uygulamanızın kullanıcı tabanının, denemenizdeki temel ile bir veya daha fazla varyant arasında eşit olarak bölmek istediğiniz Kullanıcıları hedefle bölümünde belirlenen ölçütlerle eşleşen yüzdesini seçin. Bu %0,01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler, yinelenen denemeler de dahil olmak üzere her deneme için kullanıcılara rastgele yeniden atanır.

  7. Varyantlar bölümünde, Mesaj metnini girin alanına temel gruba gönderilecek bir mesaj yazın. Temel gruba mesaj göndermek için bu alanı boş bırakın.

  8. (isteğe bağlı) Denemenize birden fazla varyant eklemek için Varyant Ekle'yi tıklayın. Varsayılan olarak denemelerde bir temel ve bir değişken bulunur.

  9. (isteğe bağlı) Denemenizdeki her bir varyant için Varyant A , Varyant B vb. adları değiştirmek üzere bir ad girin.

  10. Deneme varyantlarını değerlendirirken denemeniz için kullanılacak bir hedef metriğini, açılır listeden istediğiniz ek metriklerle birlikte tanımlayın. Bu ölçümler yerleşik hedefleri (etkileşim, satın almalar, gelir, elde tutma vb.), Analytics dönüşüm etkinliklerini ve diğer Analytics etkinliklerini içerir.

  11. Mesajınız için seçenekleri seçin:

    • Teslim tarihi: Denemenizi kaydederken hemen başlatmak için Şimdi Gönder'i seçin veya denemenizi gelecekte başlatmak için bir zaman belirtmek için Planlandı'yı seçin.
    • Gelişmiş seçenekler: Denemenize dahil edilen tüm bildirimler için gelişmiş seçenekleri belirlemek üzere Gelişmiş seçenekler'i genişletin ve ardından listelenen mesaj seçeneklerinden herhangi birini değiştirin.
  12. Denemenizi kaydetmek için İncele'yi tıklayın.

Proje başına en fazla 300 deney yapmanıza izin verilir; bunlar, 24'e kadar devam eden deneyden oluşabilir, geri kalanı taslak halinde veya tamamlanmış olabilir.

Denemenizi bir test cihazında doğrulayın

Her Firebase kurulumu için, onunla ilişkili FCM kayıt jetonunu alabilirsiniz. Uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için bu jetonu kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. FCM kayıt jetonunu aşağıdaki şekilde alın:

    Süratli

    Messaging.messaging().token { token, error in
      if let error = error {
        print("Error fetching FCM registration token: \(error)")
      } else if let token = token {
        print("FCM registration token: \(token)")
        self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
      }
    }
    

    Amaç-C

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
      if (error != nil) {
        NSLog(@"Error getting FCM registration token: %@", error);
      } else {
        NSLog(@"FCM registration token: %@", token);
        self.fcmRegTokenMessage.text = token;
      }
    }];
    

    Java

    FirebaseMessaging.getInstance().getToken()
        .addOnCompleteListener(new OnCompleteListener<String>() {
            @Override
            public void onComplete(@NonNull Task<String> task) {
              if (!task.isSuccessful()) {
                Log.w(TAG, "Fetching FCM registration token failed", task.getException());
                return;
              }
    
              // Get new FCM registration token
              String token = task.getResult();
    
              // Log and toast
              String msg = getString(R.string.msg_token_fmt, token);
              Log.d(TAG, msg);
              Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
            }
        });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
        if (!task.isSuccessful) {
            Log.w(TAG, "Fetching FCM registration token failed", task.exception)
            return@OnCompleteListener
        }
    
        // Get new FCM registration token
        val token = task.result
    
        // Log and toast
        val msg = getString(R.string.msg_token_fmt, token)
        Log.d(TAG, msg)
        Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
    })

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
        

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
        }
      });
    
  2. Firebase konsolu gezinme çubuğunda A/B Testi'ni tıklayın.
  3. Taslak'a tıklayın, denemenizin üzerine gelin, içerik menüsüne ( ) tıklayın ve ardından Test cihazlarını yönet'e tıklayın
  4. Bir test cihazı için FCM jetonunu girin ve söz konusu test cihazına gönderilecek deneme varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazına alındığını doğrulayın.

Denemenizi yönetin

Remote Config, Bildirimler oluşturucu veya Firebase Uygulama İçi Mesajlaşma ile bir deneme oluştursanız da denemenizi doğrulayıp başlatabilir, denemenizi çalışırken izleyebilir ve çalışan denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz tamamlandığında kazanan varyantın kullandığı ayarları not edebilir ve ardından bu ayarları tüm kullanıcılara sunabilirsiniz. Veya başka bir deneme çalıştırabilirsiniz.

Bir deneme başlatın

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Taslak'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızda denemenize dahil edilecek kullanıcıların bulunduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan büyük bir sayı olup olmadığını kontrol edin (örneğin, ölçütlerle eşleşen kullanıcıların %1'i ).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat'ı tıklayın. Proje başına aynı anda en fazla 24 deneme çalıştırabilirsiniz.

Bir deneyi izleme

Bir deneme bir süre çalıştırıldıktan sonra, ilerleme durumunu kontrol edebilir ve şu ana kadar denemenize katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü görebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Çalıştırılıyor'u tıklayın ve ardından denemenizin başlığını tıklayın veya arayın. Bu sayfada, aşağıdakiler de dahil olmak üzere, çalıştırılan denemenizle ilgili çeşitli gözlemlenen ve modellenen istatistikleri görüntüleyebilirsiniz:

    • Taban çizgisinden fark yüzdesi : Belirli bir değişken için bir metriğin taban çizgisine kıyasla iyileşmesinin ölçüsü. Varyant için değer aralığını temel değer aralığıyla karşılaştırarak hesaplanır.
    • Taban çizgisini geçme olasılığı : Belirli bir değişkenin, seçilen metriğin temel çizgisini geçme olasılığı.
    • kullanıcı başına observed_metric : Deneme sonuçlarına göre bu, metrik değerinin zaman içinde düşeceği tahmin edilen aralıktır.
    • Toplam observed_metric : Referans değer veya değişken için gözlemlenen kümülatif değer. Değer, her deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve İyileştirme , Değer aralığı , Taban çizgisini geçme olasılığı ve en iyi varyant olma Olasılığı'nı hesaplamak için kullanılır. Ölçülen ölçüme bağlı olarak bu sütun, "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.
  3. Denemeniz bir süre (FCM ve Uygulama İçi Mesajlaşma için en az 7 gün veya Remote Config için 14 gün) çalıştırıldıktan sonra bu sayfadaki veriler, varsa hangi varyantın "lider" olduğunu gösterir. Bazı ölçümlere, verileri görsel formatta sunan bir çubuk grafik eşlik eder.

Bir denemeyi tüm kullanıcılara sunma

Bir deneme, hedef metriğiniz için bir "lider" veya kazanan değişken elde etmenize yetecek kadar uzun süre çalıştırıldıktan sonra, denemeyi kullanıcıların %100'üne yayınlayabilirsiniz. Bu, ileriye dönük olarak tüm kullanıcılara yayınlanacak bir varyant seçmenize olanak tanır. Denemeniz net bir kazanan yaratmamış olsa bile, yine de bir varyantı tüm kullanıcılarınıza yayınlamayı seçebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Tamamlandı veya Çalıştırılıyor'u tıklayın, tüm kullanıcılara yayınlamak istediğiniz bir denemeyi tıklayın, bağlam menüsünü ( ) Kullanıma sun seçeneğini tıklayın.
  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirim oluşturucusunu kullanan bir deneme için, mesajı denemenin parçası olmayan kalan hedeflenen kullanıcılara göndermek için Mesajı kullanıma sun iletişim kutusunu kullanın.
    • Remote Config denemesi için, hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek üzere bir değişken seçin. Denemeyi oluştururken tanımlanan hedefleme ölçütleri, kullanıma sunmanın yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için şablonunuza yeni bir koşul olarak eklenir. Değişiklikleri gözden geçirmek için Remote Config'de Gözden Geçir'e tıkladıktan sonra, kullanıma sunma işlemini tamamlamak için Değişiklikleri yayınla'ya tıklayın.
    • Uygulama İçi Mesajlaşma denemesi için, hangi varyantın bağımsız bir Uygulama İçi Mesajlaşma kampanyası olarak kullanıma sunulması gerektiğini belirlemek için iletişim kutusunu kullanın. Seçildikten sonra yayınlamadan önce herhangi bir değişiklik yapmak (gerekiyorsa) için FIAM oluşturma ekranına yönlendirilirsiniz.

Bir denemeyi genişlet

Bir denemenin, A/B Testinin lider ilan etmesine yetecek kadar kullanıcı getirmediğini fark ederseniz, uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Düzenlemek istediğiniz çalışan denemeyi seçin.
  3. Deneye genel bakış bölümünde içerik menüsüne ( ) tıklayın ve ardından Çalışan deneyi düzenle'ye tıklayın.
  4. Hedefleme iletişim kutusunda, yürütülen denemede yer alan kullanıcıların yüzdesini artırmaya yönelik bir seçenek görüntülenir. Geçerli yüzdeden daha büyük bir sayı seçin ve Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine aktarılacaktır.

Bir denemeyi çoğaltın veya durdurun

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Tamamlandı veya Çalıştırılıyor'u tıklayın, imleci denemenizin üzerinde tutun, içerik menüsünü ( ) tıklayın ve ardından Denemeyi çoğalt veya Denemeyi durdur'u tıklayın.

Kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme kriterlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme kriteri Operatör(ler) Değer(ler) Not
Sürüm içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir
Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

içerir , içermez veya tam olarak eşleşen operatörlerden herhangi birini kullanırken, virgülle ayrılmış bir değer listesi sağlayabilirsiniz.

Normal ifadeler içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.

Kullanıcı kitlesi/kitleleri hepsini içerir,
aşağıdakilerden en az birini içerir:
hepsini kapsamaz,
en az birini içermiyor
Denemenize dahil edilebilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin. Google Analytics kitlelerini hedefleyen bazı denemeler, Analytics veri işleme gecikmesine tabi olduğundan veri toplamak için birkaç gün gerekebilir. Bu gecikmeyle, genellikle oluşturulduktan 24-48 saat sonra uygun kitlelere kaydolan yeni kullanıcılarda veya yakın zamanda oluşturulan kitlelerde karşılaşma olasılığınız yüksektir.
Kullanıcı özelliği Metin için:
içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir

Sayılar için:
<, ≤, =, ≥, >
Bir Analytics kullanıcı mülkü, bir denemeye dahil edilebilecek kullanıcıları seçmek için, kullanıcı özelliği değerlerini seçmeye yönelik çeşitli seçeneklerle birlikte kullanılır.

İstemcide kullanıcı özellikleri için yalnızca dize değerlerini ayarlayabilirsiniz. Sayısal işleçlerin kullanıldığı koşullar için Remote Config hizmeti, karşılık gelen kullanıcı özelliğinin değerini bir tam sayıya/değişken sayıya dönüştürür.
Normal ifadeler içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.
Ülke/Bölge Yok Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla ülke ya da bölge kullanıldı.
Diller Yok Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla dil ve yerel ayar kullanıldı.
İlk açılış Bundan fazla
Daha az
Arasında
Kullanıcıları gün cinsinden belirtilen, uygulamanızı ilk kez açtıkları zamana göre hedefleyin.
Son uygulama etkileşimi Bundan fazla
Daha az
Arasında
Kullanıcıları, gün cinsinden belirtilen, uygulamanızla en son etkileşimde bulundukları zamana göre hedefleyin.

A/B Testi metrikleri

Denemenizi oluşturduğunuzda kazanan seçeneği belirlemek için kullanılacak birincil veya hedef metriği seçersiniz. Ayrıca, her deneme varyantının performansını daha iyi anlamanıza ve kullanıcıyı elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri gibi her varyant için farklılık gösterebilecek önemli eğilimleri izlemenize yardımcı olacak diğer metrikleri de izlemelisiniz. Denemenizde en fazla beş hedef dışı metriği izleyebilirsiniz.

Örneğin, uygulamanıza yeni uygulama içi satın alma işlemleri eklediğinizi ve iki farklı "dürtme" mesajının etkinliğini karşılaştırmak istediğinizi varsayalım. Bu durumda, kazanan değişkenin en yüksek uygulama içi satın alma geliriyle sonuçlanan bildirimi temsil etmesini istediğiniz için Satın Alma gelirini hedef metriğiniz olarak ayarlamayı tercih edebilirsiniz. Ayrıca, hangi varyantın gelecekte daha fazla dönüşümle ve elde tutulan kullanıcılarla sonuçlandığını da izlemek istediğinizden, izlenecek Diğer metrikler bölümüne aşağıdakileri ekleyebilirsiniz:

  • Uygulama içi satın alma ve reklam gelirinizin birleşiminin iki varyant arasında nasıl farklılaştığını görmek için tahmini toplam gelir
  • Elde Tutma (1 gün) , Elde Tutma (2-3 gün) , Elde Tutma (4-7 gün) günlük/haftalık kullanıcı tutma oranınızı takip etmek için

Aşağıdaki tablolarda hedef metriklerinin ve diğer metriklerin nasıl hesaplandığına ilişkin ayrıntılar verilmektedir.

Hedef metrikleri

Metrik Tanım
Kilitlenme sorunu yaşamayan kullanıcılar Deneme sırasında Firebase Crashlytics SDK'sı tarafından uygulamanızda tespit edilen hatalarla karşılaşmayan kullanıcıların yüzdesi.
Tahmini reklam geliri Tahmini reklam kazancı.
Tahmini toplam gelir Satın alma değeri ve tahmini reklam gelirlerinin birleşimi.
Satın alma geliri Tüm purchase ve in_app_purchase etkinlikleri için birleşik değer.
Saklama (1 gün) Günlük olarak uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (2-3 gün) 2-3 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (4-7 gün) 4-7 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (8-14 gün) 8-14 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (15+ gün) Uygulamanızı son kullandıktan 15 gün veya daha uzun süre sonra uygulamanıza geri dönen kullanıcıların sayısı.
ilk_açık Kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics etkinliği. Dönüşüm hunisinin bir parçası olarak kullanılır.

Diğer metrikler

Metrik Tanım
bildirim_dismiss Bildirimler oluşturucusu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics etkinliği (yalnızca Android).
bildirim_alma Uygulama arka plandayken (yalnızca Android) Bildirimler oluşturucusu tarafından gönderilen bir bildirim alındığında tetiklenen bir Analytics etkinliği.
os_update Cihaz işletim sisteminin yeni bir sürüme güncellendiğini izleyen bir Analytics olayı. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.
ekran_görünümü Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için Ekran Görüntülemelerini İzleme bölümüne bakın.
oturum_başlangıcı Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.

BigQuery verilerini dışa aktarma

A/B Testi deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyebilir ve analiz edebilirsiniz. A/B Testi'nin ayrı bir BigQuery tablosu bulunmamakla birlikte deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" burada 01 , deneme kimliğidir ve userProperty.value.string_value , deneme kimliğinin (sıfır tabanlı) dizinini içerir. deneme varyantı.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu size deneme sonuçlarınızı birçok farklı şekilde dilimleme ve A/B Testinin sonuçlarını bağımsız olarak doğrulama gücü verir.

Başlamak için aşağıdakileri bu kılavuzda açıklandığı şekilde tamamlayın:

  1. Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin
  2. BigQuery'yi kullanarak A/B Testi verilerine erişme
  3. Örnek sorguları keşfedin

Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin

Spark planını kullanıyorsanız Sandbox sınırlarına tabi olarak BigQuery'ye ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanına bakın.

Öncelikle Analytics verilerinizi BigQuery'ye aktardığınızdan emin olun:

  1. Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesini açın.
  2. BigQuery'yi zaten diğer Firebase hizmetleriyle kullanıyorsanız Yönet'i tıklayın. Aksi halde Bağlantı'yı tıklayın.
  3. Firebase'i BigQuery'ye Bağlama Hakkında'yı inceleyin ve ardından İleri'yi tıklayın.
  4. Entegrasyonu yapılandır bölümünde Google Analytics geçişini etkinleştirin.
  5. Bir bölge seçin ve dışa aktarma ayarlarını seçin.

  6. BigQuery'ye Bağla'yı tıklayın.

Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery'ye aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery'ye aktarma konusuna bakın.

BigQuery'de A/B Testi verilerine erişme

Belirli bir denemeye ilişkin verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tamamını elde etmek isteyeceksiniz:

  • Deney Kimliği: Bunu Deneye genel bakış sayfasının URL'sinden alabilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 gibi görünüyorsa deneme kimliği 25'tir .
  • Google Analytics mülk kimliği : Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bunu Google Analytics'te bulabilirsiniz; proje adınızı Google Analytics etkinlik tablonuzun adını ( project_name.analytics_000000000.events ) gösterecek şekilde genişlettiğinizde BigQuery'de de görünür.
  • Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle ( YYYYMMDD son ekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Dolayısıyla, denemeniz 2 Şubat 2024'ten 2 Mayıs 2024'e kadar yürütüldüyse _TABLE_SUFFIX between '20240202' AND '20240502' belirtmeniz gerekir. Örnek için bkz. Belirli bir denemenin değerlerini seçme .
  • Etkinlik adları: Genellikle bunlar, denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.

Sorgunuzu oluşturmak için ihtiyaç duyduğunuz bilgileri topladıktan sonra:

  1. BigQuery'yi Google Cloud konsolunda açın.
  2. Projenizi seçin ve ardından SQL sorgusu oluştur öğesini seçin.
  3. Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için bkz. Örnek sorguları keşfetme .
  4. Çalıştıra tıkla .

Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfası, görüntülemekte olduğunuz denemeye ilişkin deneme adını, varyantları, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu sağlar.

Otomatik olarak oluşturulan sorguyu edinmek ve çalıştırmak için:

  1. Firebase konsolundan A/B Testini açın ve Denemeye genel bakışı açmak için sorgulamak istediğiniz A/B Testi denemesini seçin.
  2. Seçenekler menüsünden BigQuery entegrasyonunun altında Deneme verilerini sorgula'yı seçin. Bu, projenizi Google Cloud konsol konsolundaki BigQuery'de açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.

Aşağıdaki örnekte, "Kışı karşılama deneyi" adlı üç değişken (taban çizgisi dahil) içeren bir deneme için oluşturulmuş bir sorgu gösterilmektedir. Her bir etkinlik için etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucunun doğrudan projenizin içinde açıldığı için proje adınızı tablo adında belirtmediğini unutmayın.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Ek sorgu örnekleri için Örnek sorguları keşfetme bölümüne geçin.

Örnek sorguları keşfedin

Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testi deneme verilerini çıkarmak için kullanabileceğiniz sorgu örnekleri verilmektedir.

Tüm deneylerden satın alma ve deney standart sapma değerlerini çıkarın

Firebase A/B Testi sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme değişkenlerini, her bir değişkendeki benzersiz kullanıcı sayısını çıkarır ve in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve _TABLE_SUFFIX başlangıç ​​ve bitiş tarihleri ​​olarak belirtilen zaman aralığındaki tüm denemeler için standart sapmaları toplar. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak amacıyla, bu sorgudan elde ettiğiniz verileri tek kuyruklu t testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.

A/B Testinin çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için bkz. Test sonuçlarını yorumlama .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçin

Aşağıdaki örnek sorgu, BigQuery'de belirli bir denemeye ilişkin verilerin nasıl elde edileceğini göstermektedir. Bu örnek sorgu, deneme adını, varyant adlarını (Temel Çizgi dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName