Firebase A/B testleri hakkında

Bu sayfada, test sonuçlarınızın alaka düzeyini ve yararlılığını en üst düzeye çıkarmanıza yardımcı olmak amacıyla Firebase A/B Testi'nin işleyiş şekli hakkında ayrıntılı bilgiler yer almaktadır.

Örnek boyutu

Firebase A/B Testi çıkarımı, bir deneme başlatmadan önce minimum örnek boyutunun tanımlanmasını gerektirmez. Genel olarak, kendinizi rahat hissettiğiniz en yüksek deneme karşılaşma düzeyini seçmeniz gerekir. Daha büyük örnek boyutları, özellikle varyantlar arasındaki performans farklarının küçük olduğu durumlarda, istatistiksel olarak anlamlı bir sonuç bulma şansını artırır. Denemenizin özelliklerine göre önerilen örneklem boyutunu bulmak için çevrimiçi bir örneklem boyutu hesaplayıcıdan yararlanmak da yararlı olabilir.

Denemeleri düzenleyin

Çalışan denemelerin seçili parametrelerini düzenleyebilirsiniz. Örneğin:

  • Deneme adı
  • Açıklama
  • Hedefleme koşulları
  • Varyant değerleri

Bir denemeyi düzenlemek için:

  1. Değiştirmek istediğiniz denemenin sonuçlar sayfasını açın.
  2. Diğer menüsünden Çalışan denemeyi düzenle'yi seçin.
  3. Değişikliklerinizi yapın ve Yayınla'yı tıklayın.

Çalışan bir deneme sırasında uygulamanın davranışını değiştirmenin sonuçları etkileyebileceğini unutmayın.

Remote Config varyant atama mantığı

Tüm deneme hedefleme koşullarıyla (karşılaşma yüzdesi koşulu dahil) eşleşen kullanıcılar, varyant ağırlıklarına ve deneme kimliği ile kullanıcının Firebase yükleme kimliğinin karmasına göre deneme varyantlarına atanır.

Google Analytics Kitleleri gecikmeye tabidir ve kullanıcı kitle ölçütlerini ilk kez karşıladığında hemen kullanılamaz.

  • Oluşturduğunuz yeni kitlenin toplanması 24-48 saat sürebilir.
  • Yeni kullanıcılar genellikle uygun kitlelere, uygun hale geldikten 24-48 saat sonra kaydedilir.

Zamana duyarlı hedefleme için Google Analytics kullanıcı mülklerini veya ülke/bölge, dil ve uygulama sürümü gibi yerleşik hedefleme seçeneklerini kullanabilirsiniz.

Denemeye giren kullanıcılar, deneme varyantına kalıcı olarak atanır ve kullanıcı özellikleri değişse ve artık deneme hedefleme ölçütlerini karşılamasalar bile deneme etkin olduğu sürece denemeden parametre değerleri alırlar.

Etkinleştirme etkinlikleri

Deneme etkinleştirme etkinlikleri, deneme ölçümünü, etkinleştirme etkinliğini tetikleyen uygulama kullanıcılarıyla sınırlandırır. Deneme etkinleştirme etkinliğinin, uygulama tarafından getirilen deneme parametreleri üzerinde herhangi bir etkisi yoktur. Deneme hedefleme ölçütlerini karşılayan tüm kullanıcılar deneme parametrelerini alır. Sonuç olarak, deneme parametreleri getirilip etkinleştirildikten sonra, ancak uygulamanın davranışını değiştirmek için deneme parametreleri kullanılmadan önce gerçekleşen bir etkinleştirme etkinliği seçmek önemlidir.

Varyant ağırlıkları

Deneme oluşturma sırasında, deneme kullanıcılarının daha büyük bir yüzdesini bir varyanta yerleştirmek için varsayılan varyant ağırlıklarını değiştirmek mümkündür.

Test sonuçlarını yorumlama

Firebase A/B Testi, deneme sonuçlarınızın yalnızca rastgele şans nedeniyle gerçekleşme olasılığını anlamanıza yardımcı olmak için sıklıkçı çıkarımı kullanır. Bu olasılık, olasılık değeri veya p değeri ile temsil edilir. p değeri, iki varyant arasındaki performans farkının rastgele şans nedeniyle gerçekleşmiş olma olasılığıdır. 0 ile 1 arasında bir değerle ölçülür. A/B Testi'nde 0,05 anlamlılık düzeyi kullanılır.Bu durum:

  • 0,05'ten düşük bir p değeri, varyantlar arasında istatistiksel olarak anlamlı bir fark olduğunu gösterir.Diğer bir deyişle, bu durumun rastgele şans eseri gerçekleşmiş olma ihtimali yoktur.
  • 0,05'ten büyük bir p değeri, varyantlar arasındaki farkın istatistiksel olarak anlamlı olmadığını gösterir.

Deneme verileri günde bir kez yenilenir ve son güncelleme zamanı, deneme sonuçları sayfasının en üstünde görünür.

Deneme sonuçları grafiği, seçilen metriğin kümülatif ortalama değerlerini gösterir. Örneğin, kullanıcı başına reklam gelirini metrik olarak izliyorsanız kullanıcı başına gözlemlenen geliri, Kilitlenme sorunu yaşamayan kullanıcıları izliyorsanız kilitlenmeyle karşılaşmayan kullanıcıların yüzdesini de izlersiniz. Bu veriler, denemenin başından itibaren kümülatiftir.

Sonuçlar, Gözlemlenen veriler ve Çıkarım verileri olarak ikiye ayrılır. Gözlemlenen veriler doğrudan Google Analytics verilerinden hesaplanır ve çıkarım verileri, gözlemlenen verilerin istatistiksel açıdan anlamlı olup olmadığını değerlendirmenize yardımcı olmak için p değerleri ve güven aralıkları sağlar.

Her metrik için aşağıdaki istatistikler görüntülenir:

Gözlemlenen veriler

  • İzlenen metrik için toplam değer (elde tutulan kullanıcı sayısı, kilitlenen kullanıcı sayısı, toplam gelir)
  • Metriğe özel oran (elde tutma oranı, dönüşüm oranı, kullanıcı başına gelir)
  • Varyant ve referans değer arasındaki yüzde farkı (artış)

Çıkarım verileri

  • % 95 CI (ortalama fark) izlenen metriğin "true" değerini içeren bir aralığı% 95 güven düzeyiyle gösterir. Örneğin, denemeniz 5 TL ile 10 TL arasında tahmini toplam gelir için% 95 CI ile sonuçlanırsa gerçek farkın 5 TL ile 10 TL arasında olma ihtimali% 95'tir. CI aralığı 0 değerini içeriyorsa varyant ile referans değer arasında istatistiksel olarak anlamlı bir fark tespit edilmemiştir.

    Güven aralığı değerleri, izlenen metrikle eşleşen biçimde görünür. Örneğin, kullanıcıları elde tutma için Süre (HH:MM:SS cinsinden), kullanıcı başına reklam geliri için ABD doları ve dönüşüm oranı yüzdesi.

  • P değeri: Varyant ve referans değer arasında gerçek bir fark olmaması olasılığını temsil eder. Diğer bir deyişle, gözlemlenen herhangi bir farkın rastgele olasılıktan kaynaklanma olasılığı yüksektir. p değeri ne kadar düşük olursa gözlemlenen performansın gelecekte doğru kalmasıyla ilgili güven de o kadar yüksek olur. 0,05 veya daha düşük bir değer, önemli bir farkı ve sonuçların şans eseri olma olasılığının düşük olduğunu gösterir. P değerleri, Varyant değerinin Temel değerden yüksek olduğu tek kuyruklu teste dayanır. Firebase, sürekli değişkenler (gelir gibi sayısal değerler) için eşit olmayan varyans t testi ve dönüşüm verileri (kullanıcı elde tutma, kilitlenme sorunu yaşamayan kullanıcılar, Google Analytics etkinliğini tetikleyen kullanıcılar gibi ikili değerler) için z-oranları kullanır.

Deneme sonuçları, her deneme varyantı için önemli bilgiler sağlar. Örneğin:

  • Doğrudan ölçülen (yani gözlemlenen gerçek veriler) referans değere kıyasla her bir deneme metriğinin ne kadar yüksek veya düşük olduğu
  • Varyant ile referans değer arasında gözlemlenen farkın, rastgele olasılık (p değeri) nedeniyle gerçekleşmiş olma olasılığı
  • Her deneme metriğinde varyant ve referans değer arasında "doğru" performans farkını içerebilecek aralık. Bu, "en iyi durum" ve "en kötü durum" performans senaryolarını anlamanın bir yoludur

Google Optimize tarafından desteklenen denemelerin sonuçlarını yorumlama

23 Ekim 2023'ten önce başlatılan denemelere ait Firebase A/B Testi sonuçları Google Optimize tarafından destekleniyordu. Google Optimize, deneme verilerinizden bilgilendirici istatistikler oluşturmak için Bayes çıkarımını kullandı.

Sonuçlar, "gözlemlenen veriler" ve "modellenmiş veriler" olarak ayrılır. Gözlemlenen veriler doğrudan analiz verilerinden hesaplandı ve modellenmiş veriler, Bayes modelimizin gözlemlenen verilere uygulanmasıyla elde edildi.

Her metrik için aşağıdaki istatistikler görüntülenir:

Gözlemlenen Veriler

  • Toplam değer (varyanttaki tüm kullanıcılar için metriğin toplamı)
  • Ortalama değer (varyanttaki kullanıcılar için metriğin ortalama değeri)
  • Temel değişkene göre yüzdelik fark

Modellenmiş Veriler

  • Referans değeri geçme olasılığı: Bu değişken için metriğin referans değere kıyasla daha yüksek olma olasılığı
  • Referans değere göre fark yüzdesi: Varyant ve referans değer metriğinin medyan model tahminlerine dayanır
  • Metrik aralıkları: %50 ve% 95 kesinlikte, metrik değerinin bulunma olasılığının en yüksek olduğu aralıklar

Genel olarak deneme sonuçları, denemedeki her bir varyant için bize üç önemli bilgi verir:

  1. Doğrudan ölçülen (yani gözlemlenen gerçek veriler) referans değere kıyasla her bir deneme metriğinin ne kadar yüksek veya düşük olduğu
  2. Bayes çıkarımına (sırasıyla daha iyi / en iyi olma olasılığı) göre her bir deneme metriğinin referans değerden / genel olarak en iyi değerden daha yüksek olma olasılığı
  3. Bayes çıkarımına dayalı olarak her bir deneme metriği için makul aralıklar: "en iyi durum" ve "en kötü durum" senaryoları (güvenilir aralıklar)

Liderlerin belirlenmesi

Sıklık çıkarımı kullanan denemelerde Firebase, hedef metriğindeki varyant ve referans değer arasında istatistiksel olarak anlamlı bir performans farkı varsa bir varyantın lider olduğunu beyan eder. Birden fazla varyant bu ölçütü karşılıyorsa en düşük p değerine sahip varyant seçilir.

Google Optimize'ın kullanıldığı denemelerde Firebase, birincil metrikteki referans varyanttan %95 daha iyi olma olasılığına sahip olan varyantın "net bir lider" olduğunu beyan etti. Birden fazla varyant "net bir lider" ölçütünü karşılıyorsa yalnızca genel olarak en iyi performans gösteren varyant "açık kazanan" olarak etiketlenmiştir.

Liderin belirlenmesi yalnızca birincil hedefe dayandığından, öncü varyantın kullanıma sunulup sunulmayacağına karar vermeden önce ilgili tüm faktörleri göz önünde bulundurmalı ve ikincil metriklerin sonuçlarını incelemelisiniz. Değişikliği yapmanın beklenen olumlu yanını, olumsuz riski (iyileştirme için güven aralığının alt sınırı gibi) ve birincil hedef dışındaki metriklere olan etkisini göz önünde bulundurmak isteyebilirsiniz.

Örneğin, birincil metriğiniz Kilitlenme sorunu yaşamayan kullanıcı sayısı ve A Varyantı referans değerde net bir lider performans gösteriyorsa ancak A Varyantı kullanıcı elde tutma metrikleri, temel kullanıcı elde tutma metriklerine göre devam ediyorsa A Varyantını daha geniş çapta kullanıma sunmadan önce daha fazla araştırma yapmak isteyebilirsiniz.

Hem birincil hem de ikincil metriklerdeki genel performansınıza göre yalnızca önde gelen bir varyantı değil, herhangi bir varyantı kullanıma sunabilirsiniz.

Deneme süresi

Firebase, aşağıdaki koşullar karşılanana kadar denemenin çalışmaya devam etmesini önerir:

  1. Deneme, yararlı bir sonuç sağlamaya yetecek kadar veri topladı. Denemeler ve sonuç verileri günde bir kez güncellenir. Denemeniz için önerilen örneklem boyutunu değerlendirmek üzere çevrimiçi bir örneklem boyutu hesaplayıcısını kullanabilirsiniz.
  2. Deneme, kullanıcılarınızın temsili bir örneklemlenmesini sağlayacak ve uzun vadeli performansı ölçecek kadar uzun sürdü. Tipik bir Remote Config denemesi için önerilen minimum çalışma süresi iki haftadır.

Deneme verileri, deneme başladıktan sonra en fazla 90 gün boyunca işlenir. 90 gün sonra deneme otomatik olarak durdurulur. Deneme sonuçları artık Firebase konsolunda güncellenmez ve deneme, denemeye özel parametre değerleri göndermeyi durdurur. Bu noktada müşteriler, Remote Config şablonunda ayarlanan koşullara göre parametre değerlerini getirmeye başlar. Geçmiş deneme verileri, siz denemeyi silene kadar saklanır.

BigQuery şeması

Firebase konsolunda A/B Testi deneme verilerini görüntülemenin yanı sıra, BigQuery'de deneme verilerini de inceleyebilir ve analiz edebilirsiniz. A/B Testi'nde ayrı bir BigQuery tablosu olmasa da deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" biçimindedir. Burada 01, deneme kimliğidir ve userProperty.value.string_value, deneme varyantının (sıfır tabanlı) dizinini içerir.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Böylece, deneme sonuçlarınızı birçok farklı şekilde dilimleyebilir ve A/B Testi'nin sonuçlarını bağımsız olarak doğrulayabilirsiniz.

Başlamak için bu kılavuzda açıklandığı şekilde aşağıdaki adımları uygulayın:

  1. Firebase konsolunda Google Analytics için BigQuery verilerini dışa aktarmayı etkinleştirme
  2. BigQuery'yi kullanarak A/B Testi verilerine erişme
  3. Örnek sorguları inceleyin

Firebase konsolunda Google Analytics için BigQuery Export'u etkinleştirme

Spark planını kullanıyorsanız Korumalı alan sınırlarına tabi olarak BigQuery'ye ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanı bölümüne bakın.

Öncelikle, Analytics verilerinizi BigQuery'ye aktardığınızdan emin olun:

  1. Firebase konsolundaki > Proje ayarları üzerinden erişebileceğiniz Entegrasyonlar sekmesini açın.
  2. BigQuery'yi halihazırda diğer Firebase hizmetleriyle kullanıyorsanız Yönet'i tıklayın. Aksi takdirde, Bağla'yı tıklayın.
  3. Firebase'i BigQuery'ye Bağlama Hakkında bölümünü inceleyin, ardından Sonraki'yi tıklayın.
  4. Entegrasyonu yapılandır bölümünde Google Analytics açma/kapatma düğmesini etkinleştirin.

  5. Bir bölge seçin ve dışa aktarma ayarlarını belirleyin.

  6. BigQuery'ye bağla'yı tıklayın.

Verileri dışa aktarma yönteminize bağlı olarak tabloların kullanılabilir hale gelmesi bir günü bulabilir. Proje verilerini BigQuery'ye aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery'ye aktarma başlıklı makaleyi inceleyin.

BigQuery'de A/B Testi verilerine erişme

Belirli bir denemeye ait verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerin bir kısmını veya tamamını edinmeniz gerekir:

  • Deneme kimliği: Bu bilgiyi Denemeye genel bakış sayfasının URL'sinden edinebilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 gibi görünüyorsa deneme kimliği 25'tir.
  • Google Analytics mülk kimliği: 9 haneli Google Analytics mülk kimliğinizdir. Google Analytics'te bulabilirsiniz. Google Analytics etkinlik tablonuzun adını (project_name.analytics_000000000.events) gösterecek şekilde proje adınızı genişlettiğinizde de BigQuery'de görünür.
  • Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (YYYYMMDD son ekiyle tanımlanan tablolar) sınırlandırmanız önerilir. Bu nedenle, denemeniz 2 Şubat 2024 ile 2 Mayıs 2024 arasında çalıştırıldıysa _TABLE_SUFFIX between '20240202' AND '20240502' değerini belirtirsiniz. Bir örnek için Belirli bir denemenin değerlerini seçme bölümüne bakın.
  • Etkinlik adları: Bunlar genellikle denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.

Bu bilgileri topladıktan sonra, sorgunuzu oluşturmak için ihtiyacınız olan bilgileri kullanın:

  1. Google Cloud konsolunda BigQuery'yi açın.
  2. Projenizi ve ardından SQL sorgusu oluştur'u seçin.
  3. Sorgunuzu ekleyin. Çalıştırılacak sorgular için Örnek sorguları keşfetme bölümüne bakın.
  4. Çalıştır'ı tıklayın.

Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfasında deneme adını, varyantları, etkinlik adlarını ve görüntülediğiniz denemeyle ilgili etkinlik sayısını döndüren bir örnek sorgu sağlanır.

Otomatik oluşturulan sorguyu almak ve çalıştırmak için:

  1. Firebase konsolunda A/B Testi'ni açın ve sorgulamak istediğiniz A/B Testi denemesini seçerek Denemeye genel bakış'ı açın.
  2. Seçenekler menüsünde, BigQuery entegrasyonu'nun altındaki Sorgu deneme verileri'ni seçin. Bu işlem, projenizi Google Cloud Console'daki BigQuery'de açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.

Aşağıdaki örnekte, "Kışın karşılama denemesi" adlı üç varyantlı (referans dahil) bir deneme için oluşturulmuş bir sorgu gösterilmektedir. Her etkinliğin etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucunun tablo adında projenizin adını belirtmediğini unutmayın. Çünkü doğrudan projenizin içinde açılır.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Daha fazla sorgu örneği için Örnek sorguları keşfetme bölümüne gidin.

Örnek sorguları keşfedin

Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testi deneme verilerini ayıklamak için kullanabileceğiniz sorgulara örnekler verilmiştir.

Tüm denemelerden satın alma ve deneme standart sapma değerlerini çıkarın

Firebase A/B Testi sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme varyantlarını ve her bir varyanttaki benzersiz kullanıcı sayısını çıkarır. Ayrıca, _TABLE_SUFFIX başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemelerin standart sapmaları ile in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve standart sapmaları toplar. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak amacıyla, bu sorgudan elde ettiğiniz verileri tek kuyruklu t testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.

A/B Testi'nin çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için Test sonuçlarını yorumlama konusuna bakın.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçin

Aşağıdaki örnek sorgu, BigQuery'de belirli bir deneme için verilerin nasıl alınacağını gösterir. Bu örnek sorgu deneme adını, varyant adlarını (Referans değer dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

Sınırlar

A/B Testi toplamda 300 deneme, 24 çalışan deneme ve 24 taslak deneme ile sınırlıdır. Bu sınırlar Remote Config kullanıma sunma işlemleriyle paylaşılır. Örneğin, çalışan iki kullanıma sunma işleminiz ve çalışan üç denemeniz varsa en fazla 19 ek kullanıma sunma veya denemeniz olabilir.

  • 300 toplam deneme sınırına veya 24 taslak deneme sınırına ulaşırsanız yenisini oluşturmadan önce mevcut bir denemeyi silmeniz gerekir.

  • Çalışan 24 deneme ve kullanıma sunma sınırına ulaşırsanız yeni bir deneme başlatmadan önce çalışan bir denemeyi veya sunumu durdurmanız gerekir.

Bir denemede en fazla 8 varyant (referans dahil) ve her varyant için en fazla 25 parametre bulunabilir. Bir denemenin boyutu yaklaşık 200 KiB'a kadar olabilir. Varyant adları, varyant parametreleri ve diğer yapılandırma meta verileri buna dahildir.