Firebase A/B testleri hakkında

Test sonuçlarınızın alaka düzeyini ve kullanışlılığını en üst düzeye çıkarmanıza yardımcı olmak için bu sayfada Firebase A/B Testinin nasıl çalıştığı hakkında ayrıntılı bilgi verilmektedir.

Örnek boyut

Firebase A/B Testi çıkarımı, bir denemeye başlamadan önce minimum örnek boyutunun tanımlanmasını gerektirmez. Genel olarak kendinizi rahat hissettiğiniz en büyük deneme maruz kalma düzeyini seçmelisiniz. Daha büyük örneklem boyutları, özellikle değişkenler arasındaki performans farklılıkları küçük olduğunda istatistiksel olarak anlamlı bir sonuç bulma şansını artırır. Ayrıca, denemenizin özelliklerine göre önerilen örnek boyutunu bulmak için çevrimiçi bir örnek boyutu hesaplayıcısına başvurmanız da yararlı olabilir.

Denemeleri düzenle

Aşağıdakiler dahil olmak üzere, yürütülen denemelerin seçilen parametrelerini düzenleyebilirsiniz:

  • Deneme adı
  • Tanım
  • Hedefleme koşulları
  • Varyant değerleri

Bir denemeyi düzenlemek için:

  1. Değiştirmek istediğiniz denemenin sonuçlar sayfasını açın.
  2. Diğer menüsünden Çalışan denemeyi düzenle 'yi seçin.
  3. Değişikliklerinizi yapın ve ardından Yayınla'yı tıklayın.

Çalışan bir deneme sırasında uygulamanın davranışını değiştirmenin sonuçları etkileyebileceğini unutmayın.

Uzaktan Yapılandırma değişken atama mantığı

Tüm deneme hedefleme koşullarıyla (yüzde maruz kalma koşulu dahil) eşleşen kullanıcılar, değişken ağırlıklarına ve deneme kimliğinin ve kullanıcının Firebase kurulum kimliğinin karma değerine göre deneme varyantlarına atanır.

Google Analytics Kitleleri gecikmeye tabidir ve kullanıcı başlangıçta kitle kriterlerini karşıladığında hemen kullanılamaz:

  • Yeni bir kitle oluşturduğunuzda yeni kullanıcıların birikmesi 24-48 saat sürebilir.
  • Yeni kullanıcılar genellikle uygun hale geldikten 24-48 saat sonra uygun kitlelere kaydolur.

Zamana duyarlı hedefleme için Google Analytics kullanıcı özelliklerini veya ülke veya bölge, dil ve uygulama sürümü gibi yerleşik hedefleme seçeneklerini kullanmayı düşünün.

Bir kullanıcı bir denemeye girdiğinde, kullanıcı özellikleri değişse ve artık deneme hedefleme ölçütlerini karşılamasa bile, deneme etkin kaldığı sürece kalıcı olarak deneme varyantına atanır ve denemeden parametre değerleri alır.

Etkinleştirme etkinlikleri

Deneme etkinleştirme etkinlikleri, deneme ölçümünü etkinleştirme etkinliğini tetikleyen uygulama kullanıcılarıyla sınırlar. Deneme etkinleştirme olayının, uygulama tarafından getirilen deneme parametreleri üzerinde herhangi bir etkisi yoktur; deneme hedefleme kriterlerini karşılayan tüm kullanıcılar deneme parametrelerini alacaktır. Sonuç olarak, deneme parametreleri getirilip etkinleştirildikten sonra, ancak deneme parametreleri uygulamanın davranışını değiştirmek için kullanılmadan önce gerçekleşecek bir etkinleştirme olayının seçilmesi önemlidir.

Varyant ağırlıkları

Deneme oluşturma sırasında, deneme kullanıcılarının daha büyük bir yüzdesini bir varyanta yerleştirmek için varsayılan varyant ağırlıklarını değiştirmek mümkündür.

Test sonuçlarını yorumlama

Firebase A/B Testi, deneme sonuçlarınızın yalnızca rastgele şansa bağlı olarak ortaya çıkma olasılığını anlamanıza yardımcı olmak için frekansçı çıkarımı kullanır. Bu olasılık bir olasılık değeri veya p değeri ile temsil edilir. P değeri, 0 ile 1 arasında bir değerle ölçülen, iki değişken arasındaki performans farkının rastgele şans nedeniyle oluşmuş olabileceği olasılığıdır. A/B Testi, 0,05 anlamlılık düzeyini kullanır, böylece:

  • 0,05'ten küçük bir p değeri, değişkenler arasında istatistiksel olarak anlamlı bir fark olduğunu gösterir; bu da bunun tesadüfen meydana gelme ihtimalinin düşük olduğu anlamına gelir.
  • 0,05'ten büyük bir p değeri, değişkenler arasındaki farkın istatistiksel olarak anlamlı olmadığını gösterir.

Deneme verileri günde bir kez yenilenir ve son güncelleme zamanı, deneme sonuçları sayfasının üst kısmında görünür.

Deneme sonuçları grafiği, seçilen metriğin kümülatif ortalama değerlerini görüntüler. Örneğin, kullanıcı başına Reklam gelirini bir ölçüm olarak izliyorsanız, kullanıcı başına gözlemlenen geliri görüntüler; Kilitlenme yaşamayan kullanıcıları izliyorsanız, kilitlenmeyle karşılaşmayan kullanıcıların yüzdesini izler. Bu veriler deneyin başlangıcından itibaren kümülatiftir.

Sonuçlar Gözlemlenen veriler ve Çıkarım verileri olarak ikiye ayrılır. Gözlemlenen veriler doğrudan Google Analytics verilerinden hesaplanır ve çıkarım verileri, gözlemlenen verilerin istatistiksel önemini değerlendirmenize yardımcı olmak için p değerleri ve güven aralıkları sağlar.

Her metrik için aşağıdaki istatistikler görüntülenir:

Gözlemlenen veriler

  • İzlenen metriğin toplam değeri (elde tutulan kullanıcı sayısı, kilitlenen kullanıcı sayısı, toplam gelir)
  • Metrik spesifik oran (elde tutma oranı, dönüşüm oranı, kullanıcı başına gelir)
  • Varyant ve referans arasındaki yüzde fark (artış)

Çıkarım verileri

  • %95 CI (araçlardaki fark), izlenen metriğin "doğru" değerini %95 güvenle içeren bir aralığı görüntüler. Örneğin, denemeniz tahmini toplam gelir için 5 ila 10 ABD doları arasında %95 GA ile sonuçlanırsa, ortalamalardaki gerçek farkın 5 ila 10 ABD doları arasında olma ihtimali %95'tir. CI aralığı 0 içeriyorsa değişken ile başlangıç ​​arasında istatistiksel olarak anlamlı bir fark tespit edilmemiştir.

    Güven aralığı değerleri, izlenen metrikle eşleşen biçimde görünür. Örneğin, kullanıcıyı elde tutma için Süre ( HH:MM:SS cinsinden), kullanıcı başına reklam geliri için USD ve dönüşüm oranı için yüzde.

  • Değişken ile taban çizgisi arasında gerçek bir fark olmaması olasılığını temsil eden P değeri ; başka bir deyişle, gözlemlenen herhangi bir fark muhtemelen rastgele şanstan kaynaklanmaktadır. P değeri ne kadar düşük olursa, gözlemlenen performansın gelecekte de doğru kalacağına dair güven o kadar yüksek olur. 0,05 veya daha düşük bir değer, anlamlı bir fark olduğunu ve sonuçların şansa bağlı olma olasılığının düşük olduğunu gösterir. P değerleri, Değişken değerinin Temel değerden büyük olduğu tek kuyruklu bir teste dayanmaktadır. Firebase, sürekli değişkenler (gelir gibi sayısal değerler) için eşit olmayan bir varyans t testi ve dönüşüm verileri (kullanıcıyı elde tutma, kilitlenmeyen kullanıcılar, bir Google Analytics etkinliğini tetikleyen kullanıcılar gibi ikili değerler) için oranlara ilişkin bir z testi kullanır.

Deneme sonuçları, her deneme varyantı için aşağıdakiler dahil olmak üzere önemli bilgiler sağlar:

  • Doğrudan ölçülen temel değerle (yani gerçek gözlemlenen verilerle) karşılaştırıldığında her bir deneme metriğinin ne kadar yüksek veya düşük olduğu
  • Varyant ile başlangıç ​​noktası arasında gözlemlenen farkın rastgele şansa bağlı olarak ortaya çıkma olasılığı (p değeri)
  • Her deneme metriği için değişken ile temel arasındaki "gerçek" performans farkını içermesi muhtemel bir aralık; "en iyi durum" ve "en kötü durum" performans senaryolarını anlamanın bir yolu

Google Optimize tarafından desteklenen denemelerin sonuçlarını yorumlayın

23 Ekim 2023'ten önce başlatılan denemelere ilişkin Firebase A/B Testi sonuçları Google Optimize tarafından desteklenmiştir. Google Optimize, deneme verilerinizden anlamlı istatistikler oluşturmak için Bayes çıkarımını kullandı.

Sonuçlar "gözlenen veriler" ve "modellenen veriler" olarak ikiye ayrılır. Gözlemlenen veriler doğrudan analitik verilerinden hesaplandı ve modellenen veriler, Bayes modelimizin gözlemlenen verilere uygulanmasıyla elde edildi.

Her metrik için aşağıdaki istatistikler görüntülenir:

Gözlemlenen Veriler

  • Toplam değer (varyanttaki tüm kullanıcılar için metriğin toplamı)
  • Ortalama değer (varyanttaki kullanıcılar için metriğin ortalama değeri)
  • Başlangıçtan % fark

Modellenmiş Veriler

  • Taban çizgisini geçme olasılığı: Bu değişken için metriğin taban çizgisine göre daha yüksek olma olasılığı
  • Başlangıçtan yüzde fark: Varyant ve taban çizgisine ilişkin metriğin medyan model tahminlerine dayalıdır
  • Metrik aralıkları: Metriğin değerinin bulunma olasılığının en yüksek olduğu aralıklar, %50 ve %95 kesinlikle

Genel olarak, deney sonuçları bize deneydeki her değişken için üç önemli bilgi sağlıyor:

  1. Doğrudan ölçülen temel değerle (yani gerçek gözlemlenen verilerle) karşılaştırıldığında her bir deneme metriğinin ne kadar yüksek veya düşük olduğu
  2. Bayes çıkarımına göre her bir deneme metriğinin başlangıç ​​değerinden/genel olarak en iyisinden daha yüksek olma olasılığı (sırasıyla daha iyi/en iyi olma olasılığı)
  3. Bayes çıkarımına dayalı her deney metriği için makul aralıklar - "en iyi durum" ve "en kötü durum" senaryoları (güvenilir aralıklar)

Lider kararlılığı

Frequentist çıkarımını kullanan denemeler için Firebase, değişken ile hedef metriğindeki taban çizgisi arasında istatistiksel olarak anlamlı bir performans farkı varsa bir değişkenin önde geldiğini beyan eder. Birden fazla değişken bu kriteri karşılıyorsa en düşük p değerine sahip değişken seçilir.

Google Optimize'ın kullanıldığı denemeler için Firebase, bir varyantın, birincil metrikte temel varyanttan daha iyi olma şansının %95'ten fazla olması durumunda "açık lider" olduğunu beyan etti. Birden fazla varyant "açık lider" kriterlerini karşılıyorsa yalnızca genel olarak en iyi performans gösteren varyant "açık lider" olarak etiketlendi.

Lider belirleme yalnızca birincil hedefe dayandığından, önde gelen bir değişkeni kullanıma sunup sunmayacağınıza karar vermeden önce ilgili tüm faktörleri göz önünde bulundurmalı ve ikincil ölçümlerin sonuçlarını gözden geçirmelisiniz. Değişikliği yapmanın beklenen olumlu yönünü, olumsuz riskini (iyileştirme için güven aralığının alt sınırı gibi) ve birincil hedef dışındaki metrikler üzerindeki etkisini dikkate almak isteyebilirsiniz.

Örneğin, birincil metriğiniz Kilitlenme yaşayan kullanıcılarsa ve A Varyantı referansta açık bir liderse, ancak A Varyantı kullanıcı tutma metrikleri temel kullanıcıyı elde tutmayı takip ediyorsa A Varyantını daha geniş çapta kullanıma sunmadan önce daha fazla araştırma yapmak isteyebilirsiniz.

Hem birincil hem de ikincil metriklerdeki genel performans değerlendirmenize bağlı olarak yalnızca önde gelen bir değişkeni değil, herhangi bir değişkeni kullanıma sunabilirsiniz.

Deneme süresi

Firebase, aşağıdaki koşullar karşılanana kadar denemenin çalışmaya devam etmesini önerir:

  1. Deney, yararlı bir sonuç sağlamaya yetecek kadar veri topladı. Deneyler ve sonuç verileri günde bir kez güncellenir. Denemenizin önerilen örnek boyutunu değerlendirmek için çevrimiçi bir örnek boyutu hesaplayıcıya başvurmak isteyebilirsiniz.
  2. Deneme, kullanıcılarınızdan temsili bir örneklem elde edilmesini sağlayacak ve uzun vadeli performansı ölçecek kadar uzun süre çalıştırıldı. Tipik bir Remote Config denemesi için önerilen minimum çalışma süresi iki haftadır.

Deneme verileri, deneme başladıktan sonra maksimum 90 gün boyunca işlenir. 90 gün sonra deneme otomatik olarak durdurulur. Deneme sonuçları artık Firebase konsolunda güncellenmiyor ve deneme, denemeye özel parametre değerleri göndermeyi durduruyor. Bu noktada istemciler, Remote Config şablonunda ayarlanan koşullara göre parametre değerlerini almaya başlar. Siz denemeyi silene kadar geçmiş deneme verileri korunur.

BigQuery şeması

A/B Testi deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyebilir ve analiz edebilirsiniz. A/B Testi'nin ayrı bir BigQuery tablosu bulunmamakla birlikte deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" burada 01 , deneme kimliğidir ve userProperty.value.string_value , deneme kimliğinin (sıfır tabanlı) dizinini içerir. deneme varyantı.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu size deneme sonuçlarınızı birçok farklı şekilde dilimleme ve A/B Testinin sonuçlarını bağımsız olarak doğrulama gücü verir.

Başlamak için aşağıdakileri bu kılavuzda açıklandığı şekilde tamamlayın:

  1. Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin
  2. BigQuery'yi kullanarak A/B Testi verilerine erişme
  3. Örnek sorguları keşfedin

Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin

Spark planını kullanıyorsanız Sandbox sınırlarına tabi olarak BigQuery'ye ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanına bakın.

Öncelikle Analytics verilerinizi BigQuery'ye aktardığınızdan emin olun:

  1. Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesini açın.
  2. BigQuery'yi zaten diğer Firebase hizmetleriyle kullanıyorsanız Yönet'i tıklayın. Aksi halde Bağlantı'yı tıklayın.
  3. Firebase'i BigQuery'ye Bağlama Hakkında'yı inceleyin ve ardından İleri'yi tıklayın.
  4. Entegrasyonu yapılandır bölümünde Google Analytics geçişini etkinleştirin.
  5. Bir bölge seçin ve dışa aktarma ayarlarını seçin.

  6. BigQuery'ye Bağla'yı tıklayın.

Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery'ye aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery'ye aktarma konusuna bakın.

BigQuery'de A/B Testi verilerine erişme

Belirli bir denemeye ilişkin verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tamamını elde etmek isteyeceksiniz:

  • Deney Kimliği: Bunu Deneye genel bakış sayfasının URL'sinden alabilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 gibi görünüyorsa deneme kimliği 25'tir .
  • Google Analytics mülk kimliği : Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bunu Google Analytics'te bulabilirsiniz; proje adınızı Google Analytics etkinlik tablonuzun adını ( project_name.analytics_000000000.events ) gösterecek şekilde genişlettiğinizde BigQuery'de de görünür.
  • Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle ( YYYYMMDD son ekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Dolayısıyla, denemeniz 2 Şubat 2024'ten 2 Mayıs 2024'e kadar yürütüldüyse _TABLE_SUFFIX between '20240202' AND '20240502' belirtmeniz gerekir. Örnek için bkz. Belirli bir denemenin değerlerini seçme .
  • Etkinlik adları: Genellikle bunlar, denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.

Sorgunuzu oluşturmak için ihtiyaç duyduğunuz bilgileri topladıktan sonra:

  1. BigQuery'yi Google Cloud konsolunda açın.
  2. Projenizi seçin ve ardından SQL sorgusu oluştur öğesini seçin.
  3. Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için bkz. Örnek sorguları keşfetme .
  4. Çalıştıra tıkla .

Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfası, görüntülemekte olduğunuz denemeye ilişkin deneme adını, varyantları, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu sağlar.

Otomatik olarak oluşturulan sorguyu edinmek ve çalıştırmak için:

  1. Firebase konsolundan A/B Testini açın ve Denemeye genel bakışı açmak için sorgulamak istediğiniz A/B Testi denemesini seçin.
  2. Seçenekler menüsünden BigQuery entegrasyonunun altında Deneme verilerini sorgula'yı seçin. Bu, projenizi Google Cloud konsol konsolundaki BigQuery'de açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.

Aşağıdaki örnek, "Kışı karşılama deneyi" adlı üç değişkeni (taban çizgisi dahil) içeren bir deneme için oluşturulmuş bir sorguyu gösterir. Her bir etkinlik için etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucunun doğrudan projenizin içinde açıldığı için tablo adında proje adınızı belirtmediğini unutmayın.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Ek sorgu örnekleri için Örnek sorguları keşfetme bölümüne geçin.

Örnek sorguları keşfedin

Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testi deneme verilerini çıkarmak için kullanabileceğiniz sorgu örnekleri verilmektedir.

Tüm deneylerden satın alma ve deney standart sapma değerlerini çıkarın

Firebase A/B Testi sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme değişkenlerini, her bir değişkendeki benzersiz kullanıcı sayısını çıkarır ve in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve _TABLE_SUFFIX başlangıç ​​ve bitiş tarihleri ​​olarak belirtilen zaman aralığındaki tüm denemeler için standart sapmaları toplar. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak amacıyla, bu sorgudan elde ettiğiniz verileri tek kuyruklu t testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.

A/B Testinin çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için bkz. Test sonuçlarını yorumlama .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçin

Aşağıdaki örnek sorgu, BigQuery'de belirli bir denemeye ilişkin verilerin nasıl elde edileceğini göstermektedir. Bu örnek sorgu, deneme adını, varyant adlarını (Temel Çizgi dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

Sınırlar

A/B Testi toplam 300 deneme, 24 çalışan deneme ve 24 taslak denemeyle sınırlıdır.

  • Toplam 300 deneme sınırına veya 24 taslak deneme sınırına ulaşırsanız, yeni bir deneme oluşturmadan önce mevcut bir denemeyi silmeniz gerekir.

  • 24 çalıştırılan deneme sınırına ulaşırsanız, yeni bir deneme başlatmadan önce çalışan bir denemeyi durdurmanız gerekir.

Bir denemede maksimum 8 değişken (taban çizgisi dahil) ve her değişken için en fazla 25 parametre bulunabilir. Bir deneyin boyutu yaklaşık 200 KiB'ye kadar olabilir. Buna varyant adları, varyant parametreleri ve diğer yapılandırma meta verileri dahildir.