Test sonuçlarınızın alaka düzeyini ve yararlılığını en üst düzeye çıkarmanıza yardımcı olmak için bu sayfada Firebase A/B Testing'ün işleyiş şekli hakkında ayrıntılı bilgi verilmektedir.
Örnek boyutu
Firebase A/B Testing çıkarımlarında, deneme başlatılmadan önce minimum örnek boyutunun belirlenmesi gerekmez. Genel olarak, rahat hissettiğiniz en büyük deneme gösterim düzeyini seçmeniz gerekir. Daha büyük örnek boyutları, özellikle varyantlar arasındaki performans farklılıkları küçük olduğunda istatistiksel olarak anlamlı bir sonuç bulma şansını artırır. Denemenizin özelliklerine göre önerilen örneklem boyutunu bulmak için internetteki bir örneklem boyutu hesaplayıcısına danışmak da faydalı olabilir.
Denemeleri düzenleme
Çalışan denemelerin seçili parametrelerini düzenleyebilirsiniz. Örneğin:
- Deneme adı
- Açıklama
- Hedefleme koşulları
- Varyant değerleri
Bir denemeyi düzenlemek için:
- Değiştirmek istediğiniz denemenin sonuç sayfasını açın.
- Diğer menüsünden Devam eden denemeyi düzenle'yi seçin.
- Değişikliklerinizi yapıp Yayınla'yı tıklayın.
Çalışan bir deneme sırasında uygulamanın davranışını değiştirmenin sonuçları etkileyebileceğini unutmayın.
Remote Config varyant atama mantığı
Tüm deneme hedefleme koşullarını (ör. gösterim yüzdesi koşulu) karşılayan kullanıcılar, varyant ağırlıklarına ve deneme kimliğinin ve kullanıcının Firebase yükleme kimliğinin karmasına göre deneme varyantlarına atanır.
Google Analytics Kitleler gecikmeye tabidir ve bir kullanıcı ilk kez kitle ölçütlerini karşıladığında anında kullanılabilir hale gelmez:
- Oluşturduğunuz yeni kitlenin kullanıcı toplaması 24 ila 48 saat sürebilir.
- Yeni kullanıcılar genellikle uygun hale geldikten 24-48 saat sonra uygun kitlelere kaydedilir.
Zamana duyarlı hedefleme için Google Analytics kullanıcı özelliklerini veya ülke, bölge, dil ve uygulama sürümü gibi yerleşik hedefleme seçeneklerini kullanabilirsiniz.
Bir kullanıcı bir denemeye girdikten sonra, deneme varyantına kalıcı olarak atanır ve kullanıcı özellikleri değişse ve artık deneme hedefleme ölçütlerini karşılamasa bile deneme etkin olduğu sürece denemeden parametre değerleri alır.
Etkinleştirme etkinlikleri
Deneme etkinleştirme etkinlikleri, deneme ölçümünü etkinleştirme etkinliğini tetikleyen uygulama kullanıcılarıyla sınırlandırır. Deneme etkinleştirme etkinliğinin, uygulama tarafından getirilen deneme parametreleri üzerinde hiçbir etkisi yoktur. Deneme hedefleme ölçütlerini karşılayan tüm kullanıcılar deneme parametrelerini alır. Bu nedenle, deneme parametreleri getirilip etkinleştirildikten sonra ancak deneme parametreleri uygulamanın davranışını değiştirmek için kullanılmadan önce gerçekleşen bir etkinleştirme etkinliği seçmeniz önemlidir.
Varyant ağırlıkları
Deneme oluşturulurken, deneme kullanıcılarının daha büyük bir yüzdesini bir varyanta yerleştirmek için varsayılan varyant ağırlıklarını değiştirmek mümkündür.
Test sonuçlarını yorumlama
Firebase A/B Testing, deneme sonuçlarınızın yalnızca rastgele şans eseri gerçekleşme olasılığını anlamanıza yardımcı olmak için sık gözlemci çıkarım yöntemini kullanır. Bu olasılık, bir olasılık değeri veya p değeri ile temsil edilir. p değeri, iki varyant arasındaki performans farkının rastgele şans eseri gerçekleşme olasılığıdır ve 0 ile 1 arasında bir değerle ölçülür. A/B Testing, 0,05 anlamlılık düzeyi kullanır.Böylece:
- 0,05'ten düşük bir p değeri, varyantlar arasında istatistiksel olarak anlamlı bir fark olduğunu gösterir.Bu da farkın şans eseri oluşma olasılığının düşük olduğu anlamına gelir.
- 0,05'ten yüksek bir p değeri, varyantlar arasındaki farkın istatistiksel olarak anlamlı olmadığını gösterir.
Deneme verileri günde bir kez yenilenir ve son güncelleme zamanı, deneme sonuçları sayfasının üst kısmında gösterilir.
Deneme sonuçları grafiğinde, seçilen metriğin kümülatif ortalama değerleri gösterilir. Örneğin, kullanıcı başına reklam gelirini metrik olarak izliyorsanız bu metrik, kullanıcı başına gözlemlenen geliri gösterir. Kilitlenme yaşamayan kullanıcıları izliyorsanız bu metrik, kilitlenmeyle karşılaşmayan kullanıcıların yüzdesini izler. Bu veriler, denemenin başlangıcından itibaren kümülatiftir.
Sonuçlar Gözlemlenen veriler ve Tahmine dayalı veriler olarak ayrılır. Gözlemlenen veriler doğrudan Google Analytics verilerinden hesaplanır. Çıkarsama verileri ise gözlemlenen verilerin istatistiksel anlamlılığını değerlendirmenize yardımcı olmak için p değerleri ve güven aralıkları sağlar.
Her metrik için aşağıdaki istatistikler gösterilir:
Gözlemlenen veriler
- İzlenen metriğin toplam değeri (elde tutulan kullanıcı sayısı, kilitlenen kullanıcı sayısı, toplam gelir)
- Metriğe özgü oran (elde tutma oranı, dönüşüm oranı, kullanıcı başına gelir)
- Varyant ile referans değer arasındaki yüzdelik fark (artış)
Çıkarılan veriler
% 95 güven aralığı (Ortalama fark), izlenen metriğin "gerçek" değerini% 95 güvenle içeren bir aralık gösterir. Örneğin, denemeniz tahmini toplam gelir için% 95 CI'de 5 ila 10 ABD doları aralığında bir sonuç verirse ortalamalar arasındaki gerçek farkın 5 ila 10 ABD doları arasında olma olasılığı% 95'tir. Güven aralığı 0 içeriyorsa varyant ile referans değer arasında istatistiksel olarak anlamlı bir fark tespit edilmemiştir.
Güven aralığı değerleri, izlenen metrikle eşleşen biçimde görünür. Örneğin, kullanıcıları elde tutma için süre (
HH:MM:SScinsinden), kullanıcı başına reklam geliri için ABD doları ve dönüşüm oranı için yüzde.P değeri: Varyant ile referans değer arasında gerçek bir fark bulunma olasılığını temsil eder. Diğer bir deyişle, gözlemlenen tüm farklılıklar muhtemelen şans eseridir. p değeri ne kadar düşük olursa gözlemlenen performansın gelecekte de geçerli olma olasılığı o kadar yüksektir. 0,05 veya daha düşük bir değer, önemli bir fark olduğunu ve sonuçların şans eseri olma olasılığının düşük olduğunu gösterir. P değerleri, varyant değerinin referans değerinden büyük olduğu tek taraflı bir teste dayanır. Firebase, sürekli değişkenler (gelir gibi sayısal değerler) için eşit olmayan varyans t testi, dönüşüm verileri (kullanıcıları elde tutma, kilitlenme sorunu yaşamayan kullanıcılar, Google Analytics etkinliğini tetikleyen kullanıcılar gibi ikili değerler) için ise oran z testi kullanır.
Deneme sonuçları, her deneme varyantı için aşağıdakiler gibi önemli analizler sağlar:
- Doğrudan ölçülen (yani gözlemlenen gerçek veriler) her deneme metriğinin referans değere kıyasla ne kadar yüksek veya düşük olduğu
- Varyant ile referans değer arasında gözlemlenen farkın rastgele şans eseri gerçekleşmiş olma olasılığı (p değeri)
- Her deneme metriği için varyant ile referans değer arasındaki "gerçek" performans farkını içerme olasılığı olan bir aralıktır. Bu aralık, "en iyi durum" ve "en kötü durum" performans senaryolarını anlamanın bir yoludur.
Google Optimize tarafından desteklenen denemelerin sonuçlarını yorumlama
23 Ekim 2023'ten önce başlatılan denemelerin Firebase A/B Testing sonuçları Google Optimize tarafından destekleniyordu. Google Optimize, deneme verilerinizden faydalı istatistikler oluşturmak için Bayesyen çıkarım kullandı.
Sonuçlar "gözlemlenen veriler" ve "modellenmiş veriler" olarak ayrılır. Gözlemlenen veriler doğrudan analiz verilerine göre hesaplanır, modellenmiş veriler ise Bayes modelimizin gözlemlenen verilere uygulanmasıyla elde edilir.
Her metrik için aşağıdaki istatistikler gösterilir:
Gözlemlenen Veriler
- Toplam değer (varyanttaki tüm kullanıcılar için metriğin toplamı)
- Ortalama değer (varyanttaki kullanıcılar için metriğin ortalama değeri)
- Temel değişkene göre yüzdelik fark
Modellenmiş Veriler
- Orijinali geçme olasılığı: Bu varyant için metriğin referans değere kıyasla daha yüksek olma olasılığı
- Referans değerden yüzdelik fark: Varyant ve referans değer için metrikteki medyan model tahminlerine dayanır.
- Metrik aralıkları: Metrik değerinin% 50 ve% 95 kesinlikte bulunmasının en olası olduğu aralıklar
Genel olarak deneme sonuçları, denemedeki her varyant için bize üç önemli analiz sunar:
- Doğrudan ölçülen (yani gözlemlenen gerçek veriler) her deneme metriğinin ana hatla karşılaştırıldığında ne kadar yüksek veya düşük olduğu
- Bayes çıkarımına göre her deneme metriğinin referans değerden / genel olarak en iyi değerden daha yüksek olma olasılığı (sırasıyla daha iyi olma / en iyi olma olasılığı)
- Bayes çıkarımına dayalı her deneme metriği için makul aralıklar ("en iyi durum" ve "en kötü durum" senaryoları) (inanılır aralıklar)
Lider belirleme
Sıklığı temel alan çıkarım kullanılan denemelerde Firebase, hedef metriğinde varyant ile temel arasında istatistiksel açıdan anlamlı bir performans farkı varsa varyantın lider olduğunu açıklar. Birden fazla varyant bu ölçütü karşılıyorsa en düşük p değerine sahip varyant seçilir.
Google Optimize'ın kullanıldığı denemelerde Firebase, birincil metrikte temel varyanttan daha iyi olma olasılığı %95'ten fazla olan bir varyantın "kesin bir lider" olduğunu belirtmiştir. Birden fazla varyant "belirgin lider" ölçütlerini karşılıyorsa yalnızca genel olarak en iyi performans gösteren varyant "belirgin lider" olarak etiketlendi.
Lider belirleme yalnızca birincil hedefe dayalı olduğundan, lider varyantı kullanıma sunup sunmamaya karar vermeden önce tüm ilgili faktörleri göz önünde bulundurmalı ve ikincil metriklerin sonuçlarını incelemelisiniz. Değişikliğin beklenen avantajlarını, olumsuz risklerini (ör. iyileştirme için güven aralığının alt sınırı) ve birincil hedef dışındaki metrikler üzerindeki etkisini göz önünde bulundurabilirsiniz.
Örneğin, birincil metriğiniz kilitlenme yaşamayan kullanıcı sayısıysa ve A varyantı, temel değere kıyasla açık bir şekilde liderse ancak A varyantının kullanıcı elde tutma metrikleri temel kullanıcı elde tutma metriklerini geride bırakıyorsa A varyantını daha geniş bir kitlenin kullanımına sunmadan önce daha ayrıntılı bir inceleme yapmanız gerekebilir.
Hem birincil hem de ikincil metriklere göre performansla ilgili genel değerlendirmenize dayanarak yalnızca lider varyantı değil, dilediğiniz varyantı kullanıma sunabilirsiniz.
Deneme süresi
Firebase, bir denemenin aşağıdaki koşullar karşılanana kadar çalışmaya devam etmesini önerir:
- Deneme, yararlı bir sonuç sunmaya yetecek kadar veri topladı. Deneyler ve sonuç verileri günde bir kez güncellenir. Denemenizin önerilen örneklem boyutunu değerlendirmek için bir online örneklem boyutu hesaplayıcısına danışabilirsiniz.
- Deneme, kullanıcılarınızın temsili bir örneğini elde etmek ve uzun vadeli performansı ölçmek için yeterince uzun sürdü. Tipik bir Remote Config denemesi için önerilen minimum çalışma süresi iki haftadır.
Deneme verileri, deneme başladıktan sonra en fazla 90 gün boyunca işlenir. 90 gün sonra deneme otomatik olarak durdurulur. Deneme sonuçları artık Firebase konsolunda güncellenmez ve deneme, denemeye özgü parametre değerlerini göndermeyi durdurur. Bu noktada istemciler, Remote Config şablonunda ayarlanan koşullara göre parametre değerlerini getirmeye başlar. Geçmiş deneme verileri, denemeyi silene kadar saklanır.
BigQuery şeması
A/B Testing deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyebilir ve analiz edebilirsiniz. A/B Testing'nin ayrı bir BigQuery tablosu olmasa da deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.
Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key =
"firebase_exp_01" biçimindedir. Bu biçimlerde 01 deneme kimliği, userProperty.value.string_value ise deneme varyantının (sıfır tabanlı) dizinidir.
Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu sayede deneme sonuçlarınızı birçok farklı şekilde dilimleyebilir ve A/B Testing sonuçlarını bağımsız olarak doğrulayabilirsiniz.
Başlamak için bu kılavuzda açıklandığı şekilde aşağıdakileri tamamlayın:
- Firebase konsolunda Google Analytics için BigQuery dışa aktarma özelliğini etkinleştirin.
- BigQuery kullanarak A/B Testing verilerine erişme
- Örnek sorguları keşfetme
Firebase konsolunda Google Analytics için BigQuery dışa aktarma özelliğini etkinleştirme
Spark planını kullanıyorsanız korumalı alan sınırlamalarına tabi olmak kaydıyla BigQuery'a ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanı başlıklı makaleyi inceleyin.
Öncelikle, Analytics verilerinizi BigQuery'a aktardığınızdan emin olun:
- Firebase konsolunda > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesini açın.
- BigQuery'ü diğer Firebase hizmetleriyle zaten kullanıyorsanız Yönet'i tıklayın. Aksi takdirde Bağla'yı tıklayın.
- Firebase'i BigQuery'e Bağlama Hakkında bölümünü inceleyin, ardından Sonraki'yi tıklayın.
- Entegrasyonu yapılandır bölümünde Google Analytics açma/kapatma düğmesini etkinleştirin.
Bir bölge seçin ve dışa aktarma ayarlarını belirleyin.
BigQuery'ye bağla'yı tıklayın.
Verileri dışa aktarma şeklinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery alanına dışa aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery alanına aktarma başlıklı makaleyi inceleyin.
BigQuery'da A/B Testing verilerine erişme
Belirli bir denemeyle ilgili verileri sorgulamadan önce, sorgunuzda kullanmak için aşağıdakilerden bazılarını veya tümünü elde etmeniz gerekir:
- Deneme kimliği: Bu kimliği, Denemeyle ilgili genel bakış sayfasının URL'sinden edinebilirsiniz. Örneğin, URL'niz
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25gibi görünüyorsa deneme kimliği 25'tir. - Google Analytics mülk kimliği: 9 haneli Google Analytics mülk kimliğinizdir. Bu adı Google Analytics içinde bulabilirsiniz. Ayrıca, proje adınızı genişleterek Google Analytics etkinlik tablonuzun (
project_name.analytics_000000000.events) adını göstermek için BigQuery'te de görebilirsiniz. - Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (
YYYYMMDDson ekiyle tanımlanan tablolar) sınırlandırmanız önerilir. Dolayısıyla, denemeniz 2 Şubat 2024 ile 2 Mayıs 2024 arasında çalıştıysa_TABLE_SUFFIX between '20240202' AND '20240502'belirtirsiniz. Örnek için Belirli bir denemenin değerlerini seçme bölümüne bakın. - Etkinlik adları: Bunlar genellikle denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin,
in_app_purchaseetkinlikler,ad_impressionveyauser_retentionetkinlikler.
Sorgunuzu oluşturmak için gereken bilgileri topladıktan sonra:
- Google Cloud konsolunda BigQuery'u açın.
- Projenizi seçin, ardından SQL sorgusu oluştur'u seçin.
- Sorgunuzu ekleyin. Çalıştırılabilecek örnek sorgular için Örnek sorguları keşfetme bölümüne bakın.
- Çalıştır'ı tıklayın.
Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulayın
Blaze planını kullanıyorsanız Denemelere genel bakış sayfasında, görüntülediğiniz denemenin adını, varyantlarını, etkinlik adlarını ve etkinlik sayısını döndüren bir örnek sorgu sağlanır.
Otomatik olarak oluşturulan sorguyu almak ve çalıştırmak için:
- Firebase konsolunda A/B Testing'i açın ve sorgulamak istediğiniz A/B Testing denemesini seçerek Deneme özetine gidin.
- Seçenekler menüsünde, BigQuery entegrasyonu altında Deneme verilerini sorgulayın'ı seçin. Bu işlem, projenizi Google Cloud konsolunda BigQueryaçar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.
Aşağıdaki örnekte, "Kış karşılama denemesi" adlı üç varyantı (referans değer dahil) olan bir deneme için oluşturulan bir sorgu gösterilmektedir. Etkin deneme adını, varyant adını, benzersiz etkinliği ve her etkinlik için etkinlik sayısını döndürür. Sorgu oluşturucu doğrudan projenizde açıldığı için tablo adında proje adınızı belirtmez.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Başka sorgu örnekleri için Örnek sorguları keşfetme bölümüne gidin.
Keşfedin örneği sorguları
Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testing deneme verilerini ayıklamak için kullanabileceğiniz sorgu örnekleri verilmiştir.
Tüm denemelerden satın alma ve deneme standart sapma değerlerini ayıklayın
Firebase A/B Testing sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme varyantlarını ve her varyanttaki tekil kullanıcı sayısını ayıklayıp _TABLE_SUFFIX başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemelerin in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve standart sapmalarını toplar. Firebase'ın sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak için bu sorgudan elde ettiğiniz verileri tek kuyruklu t-testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.
A/B Testing'ün çıkarım hesaplama şekli hakkında daha fazla bilgi için Test sonuçlarını yorumlama başlıklı makaleyi inceleyin.
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Belirli bir denemenin değerlerini seçme
Aşağıdaki örnek sorguda, BigQuery'teki belirli bir denemeyle ilgili verilerin nasıl elde edileceği gösterilmektedir. Bu örnek sorgu, deneme adını, varyant adlarını (Referans dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName
Sınırlar
A/B Testing, toplam 300 deneme, 24 çalışan deneme ve 24 taslak denemeyle sınırlıdır. Bu sınırlar, Remote Config kullanıma sunma işlemleriyle paylaşılır. Örneğin, iki yayınınız ve üç denemeniz varsa 19 adede kadar ek yayın veya deneme yapabilirsiniz.
Toplam 300 deneme sınırına veya 24 taslak deneme sınırına ulaşırsanız yeni bir deneme oluşturmadan önce mevcut bir denemeyi silmeniz gerekir.
Çalışan 24 deneme ve kullanıma sunma sınırına ulaşırsanız yeni bir deneme veya kullanıma sunma işlemi başlatmadan önce çalışan bir denemeyi veya kullanıma sunma işlemini durdurmanız gerekir.
Bir denemede en fazla 8 varyant (referans noktası dahil) ve her varyant için en fazla 25 parametre bulunabilir. Bir denemenin boyutu yaklaşık 200 KiB olabilir. Buna varyant adları, varyant parametreleri ve diğer yapılandırma meta verileri dahildir.