Kullanıcılarınıza ulaşırken veya yeni bir pazarlama kampanyası başlatırken her şeyi doğru yaptığınızdan emin olmak istersiniz. A/B testi, kullanıcı tabanınızın seçili bölümlerinde mesaj varyantlarını test ederek en uygun ifadeyi ve sunumu bulmanıza yardımcı olabilir. Hedefiniz ister daha iyi elde tutma ister bir teklifte dönüşüm olsun, A/B testi, bir mesaj varyantının seçtiğiniz hedef için referans değerden daha iyi performans gösterip göstermediğini belirlemek üzere istatistiksel analiz yapabilir.
Özellik varyantlarını bir referansla A/B testine tabi tutmak için aşağıdakileri yapın:
- Denemenizi oluşturun.
- Denemenizi bir test cihazında doğrulayın.
- Denemenizi yönetin.
Deneme oluşturma
Firebase In-App Messaging kullanan bir deneme, tek bir uygulama içi mesajın birden fazla varyantını değerlendirmenize olanak tanır.
Denemenin Analytics verilerine erişebilmesi için projenizde Google Analytics hizmetinin etkinleştirildiğini doğrulayın.
Projenizi oluştururken Google Analytics özelliğini etkinleştirmediyseniz Firebase konsolunun
Ayarlar > Entegrasyonlar sekmesinden etkinleştirebilirsiniz.Firebase konsolunda, aşağıdaki seçeneklerden birini kullanarak bir Firebase In-App Messaging denemesi başlatın:
A/B Testing adlı kullanıcıdan:
DevOps ve Etkileşim > A/B Testi'ne gidin.
Deneme oluştur'u tıklayın ve deneme yapmak istediğiniz hizmet sorulduğunda Uygulama İçi Mesajlaşma'yı seçin.
In-App Messaging:
DevOps ve Etkileşim > Mesajlaşma'ya gidin.
In-App Messaging simgesini ve ardından Yeni deneme'yi tıklayın.
Denemeniz için Ad ve isteğe bağlı olarak Açıklama girip İleri'yi tıklayın.
Önce denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ayrıca, aşağıdakileri içeren seçenekleri belirleyerek denemenize katılacak kullanıcılarınızın bir alt kümesini de hedefleyebilirsiniz:
- Sürüm: Uygulamanızın bir veya daha fazla sürümü
- Kullanıcı kitlesi: Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan Analytics kitle
- Kullanıcı özelliği: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı özelliği
- Ülke/bölge: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla ülke ya da bölge
- Cihaz dili: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
- İlk açılış: Kullanıcıları, uygulamanızı ilk açtıkları zamana göre hedefleyin.
- Son uygulama etkileşimi: Kullanıcıları, uygulamanızla en son etkileşimde bulundukları zamana göre hedefleyin.
Hedef kullanıcıların yüzdesi'ni ayarlayın:Uygulamanızın kullanıcı tabanının, Hedef kullanıcılar bölümünde ayarlanan ölçütlerle eşleşen ve denemenizdeki referans ile bir veya daha fazla varyant arasında eşit olarak bölmek istediğiniz yüzdesini seçin. Bu, %0,01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler, kopyalanan denemeler de dahil olmak üzere her deneme için kullanıcılara rastgele yeniden atanır.
Varyantlar bölümünde, normal bir uygulama içi mesajlaşma kampanyası için kullandığınız mesaj tasarım arayüzünü kullanarak referans grubuna gönderilecek bir referans uygulama içi mesaj yapılandırın.
Denemenize varyant eklemek için Varyant ekle'yi tıklayın. Varsayılan olarak denemelerde bir referans değer ve bir varyant bulunur.
(İsteğe bağlı) Her varyant için daha açıklayıcı bir ad girin.
(İsteğe bağlı) Varyantlar bölümünün üst kısmındaki Varyantları karşılaştır düğmesini tıklayarak bir veya daha fazla mesaj varyantını temel mesajla yan yana karşılaştırın.
Deneme varyantlarını değerlendirirken kullanmak üzere denemeniz için bir hedef metrik ve listeden kullanmak istediğiniz diğer metrikleri belirleyin. Bu metrikler arasında yerleşik hedefler (etkileşim, satın alma işlemleri, gelir, elde tutma vb.), Analytics dönüşüm etkinliği ve diğer Analytics etkinlik yer alır.
Deneme için zamanlamayı yapılandırın:
- Deneme için Başlangıç ve Bitiş tarihi belirleyin.
- Uygulama içi mesajların tüm varyantlarda nasıl tetikleneceğini ayarlayın.
Denemenizi kaydetmek için İncele'yi tıklayın.
Proje başına en fazla 300 deneme (lansmanlar dahil) yapabilirsiniz. Bu denemelerin en fazla 24'ü devam eden deneme ve lansman, geri kalanı ise tamamlanmış deneme olabilir.
Denemenizi bir test cihazında doğrulama
Her Firebase yüklemesi için, yüklemeyle ilişkili kimlik doğrulama jetonunu alabilirsiniz. Bu jetonu, uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:
- Yükleme kimlik doğrulama jetonunu aşağıdaki gibi alın:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
Web
import { getInstallations, getToken } from "firebase/installations"; const installations = getInstallations(app); const installationAuthToken = getToken(installations);
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
- Taslak'ı (ve/veya Remote Config denemeleri için Çalışıyor'u) tıklayın, fareyle denemenizin üzerine gelin, bağlam menüsünü (more_vert) ve ardından Test cihazlarını yönet'i tıklayın.
- Bir test cihazı için yükleme kimlik doğrulama jetonunu girin ve bu test cihazına gönderilecek deneme varyantını seçin.
- Uygulamayı çalıştırın ve seçilen varyantın test cihazında alındığını onaylayın.
Firebase yüklemeleri hakkında daha fazla bilgi edinmek için Firebase yüklemelerini yönetme başlıklı makaleyi inceleyin.
Denemenizi yönetme
Remote Config, Bildirim Oluşturucu veya Firebase In-App Messaging ile bir deneme oluşturduktan sonra denemenizi doğrulayıp başlatabilir, çalışırken denemenizi izleyebilir ve çalışan denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.
Denemeniz tamamlandığında, kazanan varyantın kullandığı ayarları not edebilir ve ardından bu ayarları tüm kullanıcılara uygulayabilirsiniz. Dilerseniz başka bir deneme de yapabilirsiniz.
Bir deneme başlat
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
- Taslak'ı ve ardından denemenizin başlığını tıklayın.
- Uygulamanızda denemenize dahil edilecek kullanıcılar olduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan büyük bir sayı olup olmadığını kontrol edin (örneğin, Ölçütlerle eşleşen kullanıcıların% 1'i).
- Denemenizi değiştirmek için Düzenle'yi tıklayın.
- Denemenizi başlatmak için Denemeyi başlat'ı tıklayın. Proje başına aynı anda en fazla 24 deneme çalıştırabilirsiniz.
Denemeleri izleme
Bir deneme bir süre çalıştırıldıktan sonra, ilerleme durumunu kontrol edebilir ve denemenize şimdiye kadar katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü inceleyebilirsiniz.
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
Devam ediyor'u tıklayın, ardından denemenizin başlığını tıklayın veya arayın. Bu sayfada, devam eden denemenizle ilgili gözlemlenen ve modellenen çeşitli istatistikleri görüntüleyebilirsiniz. Bu istatistikler arasında şunlar yer alır:
- Referans değerden% fark: Belirli bir varyant için bir metriğin referans değere kıyasla ne kadar iyileştiğinin ölçüsüdür. Varyantın değer aralığı ile referansın değer aralığı karşılaştırılarak hesaplanır.
- Orijinali geçme olasılığı: Belirli bir varyantın, seçilen metrik için referans değeri geçme olasılığına dair tahmindir.
- Kullanıcı başına observed_metric: Deneme sonuçlarına göre, metriğin zaman içinde düşeceği tahmin edilen aralıktır.
- Toplam observed_metric: Referans veya varyant için gözlemlenen kümülatif değer. Bu değer, her bir deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve İyileştirme, Değer aralığı, Orijinali geçme olasılığı ve En iyi varyant olma olasılığı değerlerini hesaplamak için kullanılır. Ölçülen metriğe bağlı olarak bu sütun "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.
Denemeniz bir süre çalıştıktan sonra (FCM ve In-App Messaging için en az 7 gün, Remote Config için 14 gün) bu sayfadaki veriler, varsa hangi varyantın "lider" olduğunu gösterir. Bazı ölçümlere, verileri görsel biçimde sunan bir çubuk grafik eşlik eder.
Denemeyi tüm kullanıcılara sunma
Bir deneme, hedef metriğiniz için "en iyi varyant" veya kazanan bir varyant belirlemenize yetecek kadar uzun süre çalıştıktan sonra denemeyi tüm kullanıcılarınıza sunabilirsiniz. Bu sayede, tüm kullanıcılara yayınlanacak bir varyant seçebilirsiniz. Denemeniz sonucunda net bir kazanan belirleyemezseniz bile dilediğiniz varyantı tüm kullanıcılarınıza sunabilirsiniz.
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
- Tamamlandı veya Çalışıyor'u tıklayın, tüm kullanıcılara yayınlamak istediğiniz bir denemeyi tıklayın, bağlam menüsünü () tıklayın ve Varyantı kullanıma sun'u seçin.
Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:
- Bildirim Oluşturucu'yu kullanan bir denemede, mesajı denemeye dahil olmayan diğer hedef kullanıcılara göndermek için Mesajı yayınla iletişim kutusunu kullanın.
- Remote Config denemesi için hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek üzere bir varyant seçin. Kullanıma sunma işleminin yalnızca deneme ile hedeflenen kullanıcıları etkileyeceğinden emin olmak için deneme oluşturulurken tanımlanan hedefleme ölçütleri, şablonunuza yeni bir koşul olarak eklenir. Remote Config'de incele'yi tıklayıp değişiklikleri inceledikten sonra, Değişiklikleri yayınla'yı tıklayarak kullanıma sunma işlemini tamamlayın.
- In-App Messaging denemesi için, hangi varyantın bağımsız bir In-App Messaging kampanyası olarak yayınlanması gerektiğini belirlemek üzere iletişim kutusunu kullanın. Seçildikten sonra, yayınlamadan önce değişiklik yapmak (gerekirse) için FIAM oluşturma ekranına yönlendirilirsiniz.
Denemeyi genişletme
Bir denemenin, A/B Testing tarafından bir lider belirlenmesi için yeterli sayıda kullanıcı getirmediğini fark ederseniz uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
- Düzenlemek istediğiniz, çalışmakta olan denemeyi seçin.
- Denemeye genel bakış bölümünde bağlam menüsünü () ve ardından Çalışan denemeyi düzenle'yi tıklayın.
- Hedefleme iletişim kutusunda, devam eden denemedeki kullanıcıların yüzdesini artırma seçeneği gösterilir. Mevcut yüzdeden daha büyük bir sayı seçin ve Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine sunulur.
Denemeyi kopyalama veya durdurma
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
- Tamamlandı veya Çalışıyor'u tıklayın, fare imlecini denemenizin üzerine getirin, bağlam menüsünü () tıklayın ve ardından Denemeyi kopyala veya Denemeyi durdur'u tıklayın.
Kullanıcı hedefleme
Aşağıdaki kullanıcı hedefleme ölçütlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.
| Hedefleme ölçütü | Operatörler | Değer(ler) | Not |
|---|---|---|---|
| Sürüm | şunu içerir,
şunu içermez, şununla tam olarak eşleşir, şu normal ifadeyi(regex) içerir |
Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için değer girin. |
İçerir, içermez veya tam olarak eşleşir operatörlerinden herhangi birini kullanırken virgülle ayrılmış bir değer listesi sağlayabilirsiniz. Normal ifade içerir operatörünü kullanırken RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcı, sonu veya tamamıyla eşleştirmek için ^ ve $ karakterlerini de kullanabilirsiniz. |
| Kullanıcı kitleleri | tümünü içerir,
en az birini içerir, tümünü içermez, en az birini içermez |
Denemenize dahil edilebilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitle seçin. | Google Analytics kitleleri hedefleyen bazı denemeler, Analytics veri işleme gecikmesine tabi olduğundan veri toplamak için birkaç gün gerektirebilir. Bu gecikmeyle genellikle yeni kullanıcılar (genellikle oluşturulduktan 24-48 saat sonra uygun kitlelere kaydedilir) veya yakın zamanda oluşturulan kitleler için karşılaşırsınız. |
| Kullanıcı özelliği | Metin için:
şunu içerir, şunu içermez, tam eşleşir, normal ifade(regex) içerir Sayılar için: <, ≤, =, ≥, > |
Analytics kullanıcı özelliği, denemeye dahil edilebilecek kullanıcıları seçmek için kullanılır. Kullanıcı özelliği değerlerini seçmek için çeşitli seçenekler sunulur.
İstemcide, kullanıcı özellikleri için yalnızca dize değerleri ayarlayabilirsiniz. Sayısal operatörlerin kullanıldığı koşullarda Remote Config hizmeti, ilgili kullanıcı özelliğinin değerini tam sayıya/kayan noktalı sayıya dönüştürür. |
Normal ifade içerir operatörünü kullanırken RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcı, sonu veya tamamıyla eşleştirmek için ^ ve $ karakterlerini de kullanabilirsiniz. |
| Ülke/Bölge | Yok | Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla ülke ya da bölge. | |
| Diller | Yok | Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar. | |
| İlk açılış |
Şundan fazla:
Şundan az: Şu değerler arasında: |
Kullanıcıları, uygulamanızı ilk açtıkları zamana göre (gün cinsinden belirtilir) hedefleyin. | |
| Son uygulama etkileşimi |
Şundan fazla:
Şundan az: Şu değerler arasında: |
Kullanıcıları, uygulamanızla en son etkileşimde bulundukları zamana göre (gün olarak belirtilir) hedefleyin. |
A/B Testing metrik
Denemenizi oluştururken kazanan varyantı belirlemek için kullanılan birincil veya hedef metriği seçersiniz. Ayrıca, her bir deneme varyantının performansını daha iyi anlamanıza ve her varyant için farklı olabilecek önemli trendleri (ör. kullanıcıları elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri) izlemenize yardımcı olacak diğer metrikleri de takip etmeniz gerekir. Denemenizde hedef olmayan en fazla beş metriği takip edebilirsiniz.
Örneğin, uygulamanıza yeni uygulama içi satın alma işlemleri eklediğinizi ve iki farklı "dürtme" mesajının etki düzeyini karşılaştırmak istediğinizi varsayalım. Bu durumda, kazanan varyantın en yüksek uygulama içi satın alma geliriyle sonuçlanan bildirimi temsil etmesini istediğiniz için hedef metriğiniz olarak Satın alma geliri'ni ayarlamayı seçebilirsiniz. Ayrıca, gelecekte daha fazla dönüşüm ve elde tutulan kullanıcı sağlayan varyantı izlemek istediğiniz için İzlenecek diğer metrikler bölümüne şunları ekleyebilirsiniz:
- Tahmini toplam gelir: Uygulama içi satın alma ve reklam gelirinizin toplamının iki varyant arasında nasıl farklılık gösterdiğini öğrenmek için bu metriği kullanın.
- Günlük veya haftalık kullanıcıları elde tutma oranınızı izlemek için Elde tutma (1 gün), Elde tutma (2-3 gün), Elde tutma (4-7 gün).
Aşağıdaki tablolarda, hedef metriklerinin ve diğer metriklerin nasıl hesaplandığına dair ayrıntılar verilmiştir.
Hedef metrikleri
| Metrik | Açıklama |
|---|---|
| Kilitlenme sorunu yaşamayan kullanıcı sayısı | Deneme sırasında Firebase Crashlytics SDK tarafından tespit edilen hatalarla uygulamanızda karşılaşmayan kullanıcıların yüzdesi.
Not: Firebase Crashlytics, web uygulamalarında desteklenmez. |
| Tahmini reklam geliri | Tahmini reklam kazançları. |
| Tahmini toplam gelir | Satın alma ve tahmini reklam gelirlerinin birleştirilmiş değeri. |
| Satın alma geliri | Tüm purchase ve in_app_purchase etkinliklerinin birleştirilmiş değeri.
|
| Elde tutma (1 gün) | Uygulamanıza her gün geri dönen kullanıcıların sayısı. |
| Elde tutma (2-3 gün) | 2-3 gün içinde uygulamanıza geri dönen kullanıcıların sayısı. |
| Elde tutma (4-7 gün) | 4-7 gün içinde uygulamanıza geri dönen kullanıcıların sayısı. |
| Elde tutma (8-14 gün) | 8-14 gün içinde uygulamanıza geri dönen kullanıcıların sayısı. |
| Elde tutma (en az 15 gün) | Uygulamanızı son kullanmalarından 15 gün veya daha uzun süre sonra uygulamanıza geri dönen kullanıcıların sayısı. |
| first_open | Kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics etkinliği. Dönüşüm dönüşüm hunisinin bir parçası olarak kullanılır. |
Diğer metrikler
| Metrik | Açıklama |
|---|---|
| notification_dismiss | Bildirim Oluşturucu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics etkinliği (yalnızca Android). |
| notification_receive | Bildirim Oluşturucu tarafından gönderilen bir bildirim, uygulama arka plandayken alındığında tetiklenen bir Analytics etkinliği (yalnızca Android). |
| os_update | Cihaz işletim sisteminin yeni bir sürüme güncellendiğini izleyen bir Analytics etkinliği.Daha fazla bilgi için Otomatik olarak toplanan etkinlikler başlıklı makaleyi inceleyin.
Bu metrik, web uygulamaları için desteklenmez. |
| screen_view | Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için Ekran Görüntülemelerini İzleme başlıklı makaleyi inceleyin. |
| session_start | Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi için Otomatik olarak toplanan etkinlikler başlıklı makaleyi inceleyin. |