Catch up on everthing we announced at this year's Firebase Summit. Learn more

A/B Testi ile Uygulama İçi Mesajlaşma Deneyleri Oluşturun

Kullanıcılarınıza ulaşırken veya yeni bir pazarlama kampanyası başlatırken, doğru anladığınızdan emin olmak istersiniz. A/B testi, kullanıcı tabanınızın seçilen bölümlerinde mesaj değişkenlerini test ederek en uygun ifadeyi ve sunumu bulmanıza yardımcı olabilir. Hedefiniz ister daha iyi elde tutma ister bir teklifte dönüşüm olsun, A/B testi, bir mesaj varyantının seçtiğiniz hedef için kontrol grubundan daha iyi performans gösterip göstermediğini belirlemek için istatistiksel analiz yapabilir.

Bir kontrol grubuyla özellik varyantlarını A/B test etmek için aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Denemenizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Deneme oluştur

Firebase Uygulama İçi Mesajlaşma'yı kullanan bir deney, tek bir uygulama içi mesajın birden çok çeşidini değerlendirmenize olanak tanır.

  1. Firebase, güncelleme için oturum açın Veri paylaşımı ayarlarına ve emin veri paylaşımı etkin olduğunu olun. Veri paylaşımı olmadan, denemeniz analiz verilerine erişemez.
  2. Arasında Engage bölümünde Firebase konsol gezinme çubuğunda, A / B Testi tıklayın.
  3. Tıklayın Deneme oluştur ve deneme yapmak istediğiniz hizmet için istendiğinde Uygulama İçi Mesajlaşma seçin.
  4. Alternatif olarak, üzerinde Firebase konsol gezinme çubuğunda, Engage genişletin, ardından Uygulama İçi Mesajlaşma tıklayın. Ardından Yeni deneyini tıklayın.
  5. Denemeniz için bir Ad ve opsiyonel Açıklama girin ve İleri'yi tıklayın.
  6. İlk denemenizi kullanan uygulamayı seçerek Hedefleme alanları doldurun. Ayrıca, aşağıdakileri içeren seçenekleri belirleyerek, kullanıcılarınızın bir alt kümesini denemenize katılmaları için hedefleyebilirsiniz:

    • Sürüm: Bir veya uygulamanızın daha versiyonları
    • Kullanıcı kitlesi: Hedef kullanıcılara kullanılan Analytics izleyicileri denemeye dahil olabilir
    • Kullanıcı özelliği: denemeye dahil olabilecek seçilmesi kullanıcılar için bir veya birden fazla Analytics kullanıcı özellikleri
    • Tahmin: makine öğrenimi öngördüğü kullanıcıların Gruplar belli davranışlara
    • Ülke / bölge: denemeye dahil olabilecek seçilmesi kullanıcılar için bir veya daha fazla ülke veya bölge
    • Cihaz dili: kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayarlar denemeye dahil olabilir
    • İlk açık: İlk defa göre hedefleyin onlar hiç uygulamanızı açan
    • Son uygulama etkileşimi: Hedef kullanıcıların uygulamanıza katılım geçen zamana dayalı
  7. Hedef kullanıcıların yüzdesi belirleyin: Kontrol grubu ve daha bir ya Denemenizde varyantları arasında eşit bölmek istediğini Hedef kullanıcıların altında belirlenen kriterleri uygulamanızın kullanıcı tabanının yüzdesini seçin. Bu, %0.01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler, yinelenen deneyler de dahil olmak üzere her deney için kullanıcılara rastgele yeniden atanır.

  8. Varyantlar bölümünde, kullanılarak kontrol grubuna göndermek için bir temel uygulama içi mesajı yapılandırmak arayüzü mesaj tasarımı normal bir uygulama içi mesajlaşma kampanyası için kullanıyoruz.

  9. Denemenize bir varyant eklemek için tıklayın Variant ekleyin. Varsayılan olarak, deneylerde bir kontrol grubu ve bir varyant bulunur.

  10. (isteğe bağlı) isimlerini Varyant A, B varyantı, vb değiştirmek için deneyde her bir varyant için bir isim girin

  11. Varyantlar bölümünün üst kısmında (opsiyonel), bazal mesajla yan-yana varyantları bir daha mesaj karşılaştırmak için düğmeye varyantları karşılaştırın tıklayın.

  12. Deneme varyantlarını değerlendirirken, açılır listeden istediğiniz ek metriklerle birlikte kullanmak üzere denemeniz için bir hedef metrik tanımlayın. Bu metrikler, yerleşik hedefleri (etkileşim, satın almalar, gelir, elde tutma vb.), Analytics dönüşüm etkinliklerini ve diğer Analytics etkinliklerini içerir.

  13. Deneme için zamanlamayı yapılandırın:

    • Deney için bir Başlangıç ve Bitiş tarihi ayarlayın.
    • Uygulama içi mesajların tüm varyantlarda nasıl tetikleneceğini ayarlayın.
  14. Denemenizi kaydetmek için Yorum tıklayın.

Proje başına en fazla 300 denemeye izin verilir ve bu denemelerin geri kalanı taslak veya tamamlanmış olarak 24 adede kadar devam eden denemeden oluşabilir.

Denemenizi bir test cihazında doğrulayın

Her Firebase kurulumu için, onunla ilişkili kurulum yetkilendirme belirtecini alabilirsiniz. Bu belirteci, uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. Kurulum yetkilendirme belirtecini aşağıdaki gibi alın:

    Süratli

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Amaç-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Açık Firebase konsol gezinme çubuğunda, A / B Testi tıklayın.
  3. , Vurgulu Denemenizde üzerinde, (ve / veya Uzaktan Yapılandırma deneyler için Koşu) Taslak tıklayın bağlam menüsünü (tıklayın ) ve sonra deney cihazları yönetme tıklayın.
  4. Bir test cihazı için kurulum kimlik doğrulama jetonunu girin ve o test cihazına gönderilecek deney varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazında alındığını onaylayın.

Firebase kurulumları hakkında daha fazla bilgi edinmek için bkz Firebase yüklemelerini yönetme .

Denemenizi yönetin

İster Remote Config, Bildirim oluşturucu veya Firebase Uygulama İçi Mesajlaşma ile bir deneme oluşturun, ardından denemenizi doğrulayıp başlatabilir, denemenizi çalışırken izleyebilir ve devam eden denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz bittiğinde, kazanan varyant tarafından kullanılan ayarları not alabilir ve ardından bu ayarları tüm kullanıcılara sunabilirsiniz. Veya başka bir deneme çalıştırabilirsiniz.

Bir deneme başlatın

  1. Arasında Engage bölümünde Firebase konsol gezinme çubuğunda, A / B Testi tıklayın.
  2. Taslak tıklatın ve sonra da deney başlığını tıklayın.
  3. Uygulama denemenize dahil olacağını kullanıcısı olduğunu doğrulamak için, taslak ayrıntılarını genişletmek ve Hedefleme ve dağıtım bölümünde% 0'dan büyük bir sayı olup olmadığını kontrol (örneğin, kriterleri kullanıcıların% 1).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için, Başlat Deneme'yi tıklayın. Bir seferde proje başına 24 adede kadar deney çalıştırabilirsiniz.

Bir deneyi izleyin

Bir deneme bir süre çalıştırıldıktan sonra, ilerlemesini kontrol edebilir ve şu ana kadar denemenize katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü görebilirsiniz.

  1. Arasında Engage bölümünde Firebase konsol gezinme çubuğunda, A / B Testi tıklayın.
  2. Koşu ve ardından denemenizle başlığını tıklayın. Bu sayfada, aşağıdakiler dahil olmak üzere, devam eden denemeniz hakkında gözlemlenen ve modellenen çeşitli istatistikleri görüntüleyebilirsiniz:

    • Başlangıca% farkı: temel (ya da kontrol grubuna) kıyasla, belirli bir varyant için bir ölçü iyileştirilmesi ölçüsü. Varyant için değer aralığını, temel için değer aralığıyla karşılaştırarak hesaplanır.
    • Atım başlangıca olasılığı: Belirli varyant seçilen metrik için taban çizgisi atım etme olasılığı.
    • observed_metric kullanıcı başına: Deney sonuçlarına dayanarak, bu metrik değeri üzerinden zaman düşecek öngörüsünde aralığıdır.
    • Toplam observed_metric : Kontrol grubu ya da varyantı için gözlemlenen kümülatif. Değeri ne kadar iyi her deney varyantı gerçekleştirir ölçmek için kullanılır ve en iyi varyant olduğu Improvement, değer aralığı, yendi başlangıca Olasılık ve Olasılık hesaplamak için kullanılır. Ölçülen metriğe bağlı olarak, bu sütun "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.
  3. Denemeniz bir süre çalıştıktan sonra (FCM ve Uygulama İçi Mesajlaşma için en az 7 gün veya Remote Config için 14 gün), bu sayfadaki veriler, varsa hangi varyantın "lider" olduğunu gösterir. Bazı ölçümlere, verileri görsel bir biçimde sunan bir çubuk grafik eşlik eder.

Bir denemeyi tüm kullanıcılara sunun

Bir deneme, hedef metriğiniz için bir "lider" veya kazanan varyantınız olacak kadar uzun bir süre çalıştırıldıktan sonra, denemeyi kullanıcıların %100'üne sunabilirsiniz. Bu, ileriye dönük olarak tüm kullanıcılara yayınlamak için bir varyant seçmenize olanak tanır. Denemeniz net bir kazanan oluşturmamış olsa bile, yine de tüm kullanıcılarınıza bir varyant sunmayı seçebilirsiniz.

  1. Arasında Engage bölümünde Firebase konsol gezinme çubuğunda, A / B Testi tıklayın.
  2. Eğer, bütün kullanıcılara yayılmasını bağlam menüsünü (tıklayın istediğiniz Tamamlanmış veya Running tıkla bir deney tıklayın ) ve sonra varyant dışarı rulo tıklayın.
  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirimler besteci kullanan bir deneme için, deneyin bir parçası değildi kalan hedeflenen kullanıcılara mesaj göndermek için mesaj iletişim dışarı rulo kullanın.
    • Remote Config denemesi için hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek için bir varyant seçin. Denemeyi oluştururken tanımlanan hedefleme ölçütleri, kullanıma sunmanın yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için şablonunuza yeni bir koşul olarak eklenecektir. Değişiklikleri incelemek için Uzaktan Config'de Yorum tıkladıktan sonra, sunumu tamamlamak için Değişiklikleri yayınla tıklayın.
    • Bir Uygulama İçi Mesajlaşma denemesi için, bağımsız bir Uygulama İçi Mesajlaşma kampanyası olarak hangi varyantın kullanıma sunulması gerektiğini belirlemek için iletişim kutusunu kullanın. Seçildikten sonra, yayınlamadan önce herhangi bir değişiklik (gerekirse) yapmak için FIAM oluşturma ekranına yönlendirileceksiniz.

Bir denemeyi genişlet

Bir denemenin A/B Testinin lider ilan etmesi için yeterli sayıda kullanıcı getirmediğini fark ederseniz, uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.

  1. Arasında Engage bölümünde Firebase konsol gezinme çubuğunda, A / B Testi tıklayın.
  2. Düzenlemek istediğiniz devam eden denemeyi seçin.
  3. Deney genel olarak, bağlam menüsünü (tıklayın ) ve sonra Düzen çalışan deneme tıklayın.
  4. Hedefleme iletişim görüntüler bir seçenek şu anda çalışan deneyde olan kullanıcıların oranını artırmak için. Geçerli yüzde büyük bir sayı seçin ve Gönder'i tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine aktarılacaktır.

Bir denemeyi çoğaltma veya durdurma

  1. Arasında Engage bölümünde Firebase konsol gezinme çubuğunda, A / B Testi tıklayın.
  2. Tamamlanmış veya vurgulu Denemenizde üzerinde, Koşu tıklayın, bağlam menüsünü (tıklayın ) ve sonra yinelenen deney veya Durdur deneyini tıklayın.

Kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme ölçütlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme ölçütü Operatör(ler) Değer(ler) Not
Sürüm içerir,
içermiyor,
birebir eşleşir,
normal ifade içerir
Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

İçeren herhangi kullanırken, içermiyor veya maçları tam olarak operatörler, değerler virgülle ayrılmış listesini sağlayabilir.

Kullanarak regex operatörü içeriyorsa, normal ifadeler oluşturabilirsiniz RE2 formatında. Normal ifadeniz, hedef sürüm dizesinin tamamı veya bir kısmıyla eşleşebilir. Ayrıca hedef dizenin başında, sonunda veya bütününü maç için ^ ve $ çapa kullanabilirsiniz.

Kullanıcı kitleleri tümünü içerir,
en az birini içerir,
tamamını içermez,
en az birini içermez
Denemenize dahil olabilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin.
Kullanıcı mülkü Metin için:
içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir

Sayılar için:
<, ≤, =, ≥, >
Kullanıcı mülkü değerlerini seçmek için çeşitli seçeneklerle birlikte bir denemeye dahil edilebilecek kullanıcıları seçmek için bir Analytics kullanıcı mülkü kullanılır.

İstemcide, kullanıcı özellikleri için yalnızca dize değerleri ayarlayabilirsiniz. Sayısal işleçleri kullanan koşullar için Remote Config hizmeti, karşılık gelen kullanıcı özelliğinin değerini bir tam sayıya/kayan değere dönüştürür.
Kullanarak regex operatörü içeriyorsa, normal ifadeler oluşturabilirsiniz RE2 formatında. Normal ifadeniz, hedef sürüm dizesinin tamamı veya bir kısmıyla eşleşebilir. Ayrıca hedef dizenin başında, sonunda veya bütününü maç için ^ ve $ çapa kullanabilirsiniz.
Tahmin Yok Firebase Predictions tarafından tanımlanan kullanıcı gruplarını hedefleyin; örneğin, uygulamanızı kullanmayı bırakma olasılığı yüksek olanlar veya uygulama içi satın alma yapma olasılığı yüksek kullanıcılar. Firebase Predictions aracı tarafından tanımlanan değerlerden birini seçin. Bir seçenek yoksa, Firebase konsolunun Tahminler bölümünü ziyaret ederek Firebase Tahminleri'ne kaydolmanız gerekebilir.
Cihaz ülkesi Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla ülke veya bölge.
Cihaz dili Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar. Bu hedefleme ölçütü yalnızca Remote Config için kullanılabilir.
İlk açık bundan fazla
daha az
arasında
Kullanıcıları, gün cinsinden belirtilen, uygulamanızı ilk açtıkları zamana göre hedefleyin. Bu hedefleme ölçütü yalnızca Firebase Uygulama İçi Mesajlaşma için kullanılabilir.
Son uygulama etkileşimi bundan fazla
daha az
arasında
Kullanıcıları, gün olarak belirtilen, uygulamanızla en son ne zaman etkileşim kurduklarına göre hedefleyin. Bu hedefleme ölçütü yalnızca Firebase Uygulama İçi Mesajlaşma için kullanılabilir.

A/B Testi metrikleri

Denemenizi oluşturduğunuzda, deneme varyantlarını karşılaştırmak için kullanılan bir metrik seçersiniz ve ayrıca, her bir deneme varyantını daha iyi anlamanıza ve önemli yan etkileri (uygulama çökmeleri gibi) tespit etmenize yardımcı olması için izleyeceğiniz diğer metrikleri de seçebilirsiniz. Aşağıdaki tablolar, hedef metriklerin ve diğer metriklerin nasıl hesaplandığına ilişkin ayrıntıları sağlar.

Hedef metrikleri

Metrik Açıklama
Saklama (1 gün) Günlük olarak uygulamanıza dönen kullanıcı sayısı.
Saklama (2-3 gün) 2-3 gün içinde uygulamanıza dönen kullanıcı sayısı.
Saklama (4-7 gün) 4-7 gün içinde uygulamanıza dönen kullanıcı sayısı.
Saklama (8-14 gün) 8-14 gün içinde uygulamanıza dönen kullanıcı sayısı.
Saklama (15+ gün) Uygulamanıza son kullanmalarından 15 veya daha fazla gün sonra geri dönen kullanıcıların sayısı.
Bildirim açık Bir kullanıcının Bildirim oluşturucusu tarafından gönderilen bildirimi açıp açmadığını izler.
Satın alma geliri Herkes için Kombine değer ecommerce_purchase ve in_app_purchase olaylar.
Tahmini AdMob geliri AdMob'dan tahmini kazançlar.
Tahmini toplam gelir Satın alma ve tahmini AdMob gelirleri için birleşik değer.
first_open Bir kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics olayı. Bir dönüşüm hunisinin parçası olarak kullanılır.
bildirim_open Bir kullanıcı, Bildirim oluşturucu tarafından gönderilen bir bildirimi açtığında tetiklenen bir Analytics olayı. Bir dönüşüm hunisinin parçası olarak kullanılır.

Diğer metrikler

Metrik Açıklama
Çökmeyen kullanıcılar Uygulamanızda, deneme sırasında Firebase Crashlytics SDK tarafından tespit edilen hatalarla karşılaşmayan kullanıcıların yüzdesi.
bildirim_dismiss Bildirim oluşturucu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics olayı (yalnızca Android).
bildirim_almak Uygulama arka plandayken (yalnızca Android) Bildirim oluşturucu tarafından gönderilen bir bildirim alındığında tetiklenen bir Analytics olayı.
os_update Bir Analytics etkinlik cihazın işletim sistemi, yeni bir version.To şekilde güncellenir parça daha fazla olduğunu görmek otomatik toplanan olayları .
ekran_görünümü Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi için bkz Parça Ekran Görüntüleme .
oturum_başlangıç Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi için bkz Otomatik toplanan olayları .
Kullanıcı etkileşimi Uygulamanız ön plandayken periyodik olarak tetiklenen bir Analytics olayı. Daha fazla bilgi için bkz Otomatik toplanan olayları .