Firebase A/B testleri hakkında

Bu sayfada, test sonuçlarınızın alaka düzeyini ve faydasını en üst düzeye çıkarmanıza yardımcı olmak için Firebase A/B Testi'nin nasıl çalıştığı hakkında ayrıntılı bilgiler verilmektedir.

Örnek boyutu

Firebase A/B Testi çıkarımı, bir denemeye başlamadan önce minimum örnek boyutunun belirlenmesini gerektirmez. Genel olarak, uygun gördüğünüz en yüksek deneme karşılaşma düzeyini seçmeniz gerekir. Daha büyük örnek boyutları, özellikle varyantlar arasındaki performans farklılıkları küçük olduğunda istatistiksel olarak anlamlı sonuç bulma olasılığını artırır. Denemenizin özelliklerine göre önerilen örneklem boyutunu bulmak için çevrimiçi bir örneklem boyutu hesaplayıcısına danışmanız da faydalı olabilir.

Denemeleri düzenle

Çalışan denemelerin seçili parametrelerini düzenleyebilirsiniz. Örneğin:

  • Deneme adı
  • Açıklama
  • Hedefleme koşulları
  • Varyant değerleri

Bir denemeyi düzenlemek için:

  1. Değiştirmek istediğiniz denemeye ait sonuçlar sayfasını açın.
  2. Diğer menüsünden Çalışan denemeyi düzenle'yi seçin.
  3. Değişikliklerinizi yapın ve Yayınla'yı tıklayın.

Çalışan bir deneme sırasında uygulamanın davranışını değiştirmenin sonuçları etkileyebileceğini unutmayın.

Remote Config varyant atama mantığı

Tüm deneme hedefleme koşullarıyla (karşılaşma yüzdesi koşulu dahil) eşleşen kullanıcılar, varyant ağırlıklarına ve deneme kimliği ile kullanıcının Firebase yükleme kimliğine ait karmaya göre deneme varyantlarına atanır.

Google Analytics Kitleleri gecikmeye tabidir ve kullanıcılar kitle ölçütlerini ilk kez karşıladığında, bu kitleleri hemen kullanamaz:

  • Yeni bir kitle oluşturduğunuzda yeni kullanıcıların birikmesi 24-48 saat sürebilir.
  • Yeni kullanıcılar genellikle uygun hale geldikten 24-48 saat sonra uygun kitlelere kaydedilir.

Zamana duyarlı hedefleme için Google Analytics kullanıcı mülklerini ya da ülke veya bölge, dil ve uygulama sürümü gibi yerleşik hedefleme seçeneklerini kullanabilirsiniz.

Bir kullanıcı denemeye girdikten sonra kalıcı olarak deneme varyantına atanır ve kullanıcı özellikleri değişip deneme hedefleme ölçütlerini artık karşılamasa bile deneme etkin kaldığı sürece denemeden parametre değerleri alır.

Etkinleştirme etkinlikleri

Deneme etkinleştirme etkinlikleri, deneme ölçümünü, etkinleştirme etkinliğini tetikleyen uygulama kullanıcılarıyla sınırlar. Deneme etkinleştirme etkinliğinin, uygulama tarafından getirilen deneme parametreleri üzerinde herhangi bir etkisi yoktur. Deneme hedefleme ölçütlerini karşılayan tüm kullanıcılar deneme parametrelerini alır. Bu nedenle, deneme parametreleri getirilip etkinleştirildikten sonra, ancak uygulamanın davranışını değiştirmek için deneme parametreleri kullanılmadan önce gerçekleşen bir etkinleştirme etkinliği seçmek önemlidir.

Varyant ağırlıkları

Deneme oluşturma işlemi sırasında, varsayılan varyant ağırlıkları değiştirilerek deneme kullanıcılarının daha büyük bir yüzdesinin bir varyanta yerleştirilmesi mümkündür.

Test sonuçlarını yorumlama

Firebase A/B Testi, deneme sonuçlarınızın yalnızca rastgele olasılık nedeniyle gerçekleşmiş olma olasılığını anlamanıza yardımcı olmak için sıklık çıkarımını kullanır. Bu olasılık, olasılık değeri veya p değeri ile temsil edilir. p değeri, iki varyant arasındaki performans farkının rastgele olasılık nedeniyle gerçekleşmiş olma olasılığıdır. 0 ile 1 arasındaki bir değerle ölçülür. A/B Testi 0,05 anlamlılık düzeyini şu amaçlarla kullanır:

  • 0,05'ten küçük bir p değeri, varyantlar arasında istatistiksel olarak anlamlı bir fark olduğunu gösterir.Diğer bir deyişle, muhtemelen rastgele bir olasılıkta gerçekleşmiştir.
  • 0,05'ten büyük bir p değeri, varyantlar arasındaki farkın istatistiksel olarak önemli olmadığını gösterir.

Deneme verileri günde bir kez yenilenir ve son güncelleme zamanı, deneme sonuçları sayfasının en üstünde gösterilir.

Deneme sonuçları grafiği, seçilen metriğin kümülatif ortalama değerlerini görüntüler. Örneğin, kullanıcı başına reklam gelirini metrik olarak izliyorsanız kullanıcı başına gözlemlenen geliri görüntüler. Kilitlenme sorunu yaşamayan kullanıcıları izliyorsanız ise kilitlenmeyle karşılaşmayan kullanıcıların yüzdesini izler. Bu veriler denemenin başından itibaren kümülatiftir.

Sonuçlar Gözlemlenen veriler ve Çıkarım verileri olarak ikiye ayrılır. Gözlemlenen veriler doğrudan Google Analytics verilerinden hesaplanır. Çıkarım verileri ise gözlemlenen verilerin istatistiksel önemini değerlendirmenize yardımcı olmak için p değerleri ve güven aralıkları sağlar.

Her metrik için aşağıdaki istatistikler görüntülenir:

Gözlemlenen veriler

  • İzlenen metrik için toplam değer (elde tutulan kullanıcı sayısı, kilitlenen kullanıcıların sayısı, toplam gelir)
  • Metriğe özgü oran (elde tutma oranı, dönüşüm oranı, kullanıcı başına gelir)
  • Varyant ve referans değer arasındaki yüzde farkı (artış)

Çıkarım verileri

  • % 95 CI (Ortalama fark), izlenen metriğin "true" değerini% 95 güvenle içeren bir aralığı gösterir. Örneğin, denemeniz 5 ABD doları ile 10 ABD doları arasında tahmini toplam gelir için% 95'lik bir CI ile sonuçlanırsa ortalamalar arasındaki gerçek farkın 5 ABD doları ile 10 ABD doları arasında olma olasılığı% 95'tir. CI aralığı 0 içeriyorsa varyant ile referans değer arasında istatistiksel olarak önemli bir fark tespit edilmedi.

    Güven aralığı değerleri, izlenen metrikle eşleşen biçimde görünür. Örneğin, kullanıcıları elde tutma için Süre (HH:MM:SS cinsinden), kullanıcı başına reklam geliri için ABD doları ve dönüşüm oranı yüzdesi.

  • P değeri. Varyant ile referans değer arasında gerçek bir fark olmama ihtimalini temsil eder. Diğer bir deyişle, gözlemlenen herhangi bir farkın rastgele olasılıktan kaynaklanma olasılığı yüksektir. p değeri ne kadar düşük olursa gözlemlenen performansın gelecekte doğru olmaya devam edeceğine dair güven de o kadar yüksek olur. 0,05 veya daha düşük bir değer, önemli bir fark ve sonuçların şans eseri olma olasılığının düşük olduğunu belirtir. P değerleri, Varyant değerinin Referans değerinden büyük olduğu tek kuyruklu teste dayanır. Firebase, sürekli değişkenler (gelir gibi sayısal değerler) için eşit olmayan varyans t testi, dönüşüm verileri (kullanıcıları elde tutma, kilitlenme sorunu yaşamayan kullanıcılar, Google Analytics etkinliğini tetikleyen kullanıcılar gibi ikili değerler) için de oranların z testi kullanır.

Deneme sonuçları, her bir deneme varyantı için aşağıdakiler dahil olmak üzere önemli bilgiler sağlar:

  • Her bir deneme metriğinin, doğrudan ölçülen referans değere göre (yani gözlemlenen gerçek veriyle) ne kadar yüksek veya düşük olduğu
  • Varyant ile referans değer arasında gözlemlenen farkın rastgele olasılık (p değeri) nedeniyle gerçekleşme olasılığı
  • Her deneme metriği için varyant ile referans değer arasındaki "doğru" performans farkını içerebilecek bir aralık; "en iyi durum" ve "en kötü durum" performans senaryolarını anlamanın bir yoludur

Google Optimize tarafından desteklenen denemelerin sonuçlarını yorumlama

23 Ekim 2023'ten önce başlatılan denemeler için Firebase A/B Testi sonuçları Google Optimize tarafından desteklenmektedir. Google Optimize, deneme verilerinizden bilgilendirici istatistikler oluşturmak için Bayes çıkarımını kullandı.

Sonuçlar "gözlemlenen veriler" ve "modellenmiş veriler" olarak ikiye ayrılır. Gözlemlenen veriler doğrudan analiz verilerinden hesaplandı ve modellenmiş veriler Bayes modelimizin gözlemlenen verilere uygulanmasından elde edildi.

Her metrik için aşağıdaki istatistikler görüntülenir:

Gözlemlenen Veriler

  • Toplam değer (varyanttaki tüm kullanıcılar için metriğin toplamı)
  • Ortalama değer (varyanttaki kullanıcılar için metriğin ortalama değeri)
  • Temel değişkene göre yüzdelik fark

Modellenmiş Veriler

  • Referans değeri geçme olasılığı: Metriğin referans değere kıyasla bu varyant için daha yüksek olma olasılığı
  • Referans değerden fark yüzdesi: Varyant ve referans değer için metriğin ortanca değer modeli tahminlerine dayanır
  • Metrik aralıkları: %50 ve% 95 kesinlikte metrik değerinin bulunma olasılığının en yüksek olduğu aralıklar

Genel olarak deneme sonuçları, denemedeki her varyant için bize üç önemli fikir verir:

  1. Her bir deneme metriğinin, doğrudan ölçülen referans değere göre (yani gözlemlenen gerçek veriler) ne kadar yüksek veya düşük olduğu
  2. Bayes çıkarımına göre (sırasıyla daha iyi / en iyi olma olasılığı) her bir deneme metriğinin referans değerden / genel olarak en iyi sonuçtan yüksek olma olasılığı ihtimal
  3. Bayes çıkarımına dayalı olarak her bir deneme metriği için makul aralıklar ("en iyi durum" ve "en kötü durum" senaryoları (güvenilir aralıklar))

Liderlerin belirlenmesi

Firebase, En sık çıkarım yöntemini kullanan denemelerde, hedef metriğinde varyant ile referans değer arasında istatistiksel olarak önemli bir performans farkı varsa bir varyantın önde olduğunu bildirir. Birden fazla varyant bu ölçütü karşılıyorsa en düşük p değerine sahip varyant seçilir.

Google Optimize kullanan denemelerde Firebase, bir varyantın birincil metrikteki referans varyanttan %95'ten daha iyi bir orana sahip olması durumunda "bariz lider" olduğunu beyan etti. Birden fazla varyant "açık öncü" ölçütünü karşılıyorsa yalnızca genel olarak en iyi performans gösteren varyant "açık öncü" olarak etiketlenmiştir.

Lideri belirleme işlemi yalnızca birincil hedefe dayalı olduğundan, önde gelen bir varyantı kullanıma sunup sunmamaya karar vermeden önce ilgili tüm faktörleri dikkate almanız ve ikincil metriklerin sonuçlarını incelemeniz gerekir. Değişikliği yapmanın beklenen artısını, olumsuz riski (iyileştirme için güven aralığının alt sınırı gibi) ve birincil hedef dışındaki metrikler üzerindeki etkisini göz önünde bulundurmak isteyebilirsiniz.

Örneğin, birincil metriğiniz Kilitlenme sorunu yaşamayan kullanıcılar ve A Varyantı referans değere göre açık bir liderse, ancak A Varyantı kullanıcı elde tutma metrikleri, temel kullanıcıları elde tutma metriğini kullanıyorsa A Varyantını daha geniş çapta kullanıma sunmadan önce daha fazla araştırma yapmak isteyebilirsiniz.

Hem birincil hem de ikincil metriklerdeki genel performans değerlendirmenize bağlı olarak yalnızca önde gelen bir varyantı değil, herhangi bir varyantı kullanıma sunabilirsiniz.

Deneme süresi

Firebase, bir denemenin aşağıdaki koşullar karşılanıncaya kadar çalışmaya devam etmesini önerir:

  1. Deneme, yararlı bir sonuç sağlamaya yetecek kadar veri topladı. Denemeler ve sonuç verileri günde bir kez güncellenir. Deneyinizin önerilen örneklem boyutunu değerlendirmek için çevrimiçi bir örneklem boyutu hesaplayıcısına başvurabilirsiniz.
  2. Deneme, kullanıcılarınızı temsil edecek bir örnek oluşturacak ve uzun vadeli performansı ölçecek kadar uzun süredir. Tipik bir Remote Config denemesi için önerilen minimum çalışma süresi iki haftadır.

Deneme verileri, deneme başladıktan sonra en fazla 90 gün boyunca işlenir. Deneme 90 gün sonra otomatik olarak durdurulur. Deneme sonuçları artık Firebase konsolunda güncellenmez ve deneme, denemeye özel parametre değerlerini göndermeyi durdurur. Bu noktada istemciler, Remote Config şablonunda belirlenen koşullara göre parametre değerlerini getirmeye başlar. Geçmiş deneme verileri, siz denemeyi silene kadar saklanır.

BigQuery şeması

Firebase konsolunda A/B Testi deneme verilerini görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyip analiz edebilirsiniz. A/B Testi için ayrı bir BigQuery tablosu olmasa da deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" biçimindedir. Burada 01, deneme kimliğidir ve userProperty.value.string_value, deneme varyantının (sıfır tabanlı) dizinini içerir.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Böylece deneme sonuçlarınızı birçok farklı şekilde bölümlere ayırabilir ve A/B Testi'nin sonuçlarını bağımsız olarak doğrulayabilirsiniz.

Başlamak için bu kılavuzda açıklanan şekilde aşağıdaki işlemleri tamamlayın:

  1. Firebase konsolunda Google Analytics için BigQuery Export'u etkinleştirin
  2. BigQuery kullanarak A/B Testi verilerine erişme
  3. Örnek sorguları keşfedin

Firebase konsolunda Google Analytics için BigQuery Export'u etkinleştirme

Spark planını kullanıyorsanız Korumalı alan sınırlarına tabi olarak BigQuery'ye ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanı bölümüne bakın.

Öncelikle, Analytics verilerinizi BigQuery'ye aktardığınızdan emin olun:

  1. Entegrasyonlar sekmesini açın. Bu sekmeye Firebase konsolunda > Proje ayarları'nı kullanarak erişebilirsiniz.
  2. BigQuery'yi zaten diğer Firebase hizmetleriyle kullanıyorsanız Yönet'i tıklayın. Aksi takdirde, Bağla'yı tıklayın.
  3. Firebase'i BigQuery'ye bağlama hakkında başlıklı makaleyi inceleyin, ardından İleri'yi tıklayın.
  4. Configure integration (Entegrasyonu yapılandır) bölümünde Google Analytics açma/kapatma düğmesini etkinleştirin.

  5. Bir bölge seçin ve dışa aktarma ayarlarını belirleyin.

  6. BigQuery'ye bağla'yı tıklayın.

Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery'ye aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery'ye aktarma başlıklı makaleyi inceleyin.

BigQuery'de A/B Testi verilerine erişme

Belirli bir denemenin verilerini sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tümünü edinmek istersiniz:

  • Deneme kimliği: Bunu, Denemeye genel bakış sayfasının URL'sinden edinebilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 gibi görünüyorsa deneme kimliği 25'tir.
  • Google Analytics mülk kimliği: 9 haneli Google Analytics mülk kimliğinizdir. Bu bilgiyi Google Analytics'te bulabilirsiniz. Proje adını Google Analytics etkinlik tablonuzun (project_name.analytics_000000000.events) adını gösterecek şekilde genişlettiğinizde BigQuery'de de görünür.
  • Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (YYYYMMDD son ekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Dolayısıyla, denemeniz 2 Şubat 2024 ile 2 Mayıs 2024 arasında çalıştırıldıysa bir _TABLE_SUFFIX between '20240202' AND '20240502' belirtirsiniz. Örnek için Belirli bir denemenin değerlerini seçme konusuna bakın.
  • Etkinlik adları: Genellikle bunlar denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.
bölümünü inceleyin.

Bilgileri topladıktan sonra sorgunuzu oluşturmanız gerekir:

  1. Google Cloud Console'da BigQuery'yi açın.
  2. Projenizi ve ardından SQL sorgusu oluştur'u seçin.
  3. Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için Örnek sorguları keşfetme bölümüne bakın.
  4. Çalıştır'ı tıklayın.

Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfası, görüntülediğiniz deneme için deneme adını, varyantlarını, etkinlik adlarını ve etkinlik sayısını döndüren bir örnek sorgu sağlar.

Otomatik olarak oluşturulan sorguyu almak ve çalıştırmak için:

  1. Firebase konsolunda A/B Testi'ni açın ve sorgulamak istediğiniz A/B Testi denemesini seçerek Denemeye genel bakış sayfasını açın.
  2. Seçenekler menüsünde, BigQuery entegrasyonu'nun altındaki Deneme verilerini sorgula'yı seçin. Bu işlem, projenizi Google Cloud Console konsolundaki BigQuery'de açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.

Aşağıdaki örnekte, "Kış karşılama denemesi" adlı üç varyant (referans değer dahil) içeren bir deneme için oluşturulmuş sorgu gösterilmektedir. Her etkinlik için etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucunun, doğrudan projenizin içinde açılacağı için proje adınızı tablo adında belirtmediğini unutmayın.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Daha fazla sorgu örneği için Örnek sorguları keşfetme bölümüne gidin.

Örnek sorguları keşfedin

Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testi deneme verilerini ayıklamak için kullanabileceğiniz sorgu örnekleri sunulmaktadır.

Tüm denemelerden satın alma ve deneme standart sapma değerlerini ayıklayın

Firebase A/B Testi sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme varyantlarını, her bir varyanttaki benzersiz kullanıcı sayısını çıkarır ve _TABLE_SUFFIX başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemeler için in_app_purchase ile ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve standart sapmaları toplar. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak amacıyla, bu sorgudan elde ettiğiniz verileri, tek kuyruklu t testleri için bir istatistiksel anlamlılık oluşturma aracıyla birlikte kullanabilirsiniz.

A/B Testi'nin çıkarımı nasıl hesapladığı hakkında daha fazla bilgi edinmek için Test sonuçlarını yorumlama bölümüne bakın.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçin

Aşağıdaki örnek sorgu, BigQuery'de belirli bir deneme için verilerin nasıl edinileceğini gösterir. Bu örnek sorgu; deneme adını, varyant adlarını (Referans dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

Sınırlar

A/B Testi toplam 300 deneme, 24 çalışan deneme ve 24 taslak deneme ile sınırlıdır. Bu sınırlar Remote Config kullanıma sunma işlemleriyle paylaşılır. Örneğin, devam eden iki kullanıma sunma işleminiz ve devam eden üç denemeniz varsa en fazla 19 kullanıma daha veya denemenize daha sahip olabilirsiniz.

  • Toplam 300 deneme sınırına veya 24 taslak deneme sınırına ulaşırsanız yeni bir deneme oluşturmadan önce mevcut bir denemeyi silmeniz gerekir.

  • 24 çalışan deneme ve kullanıma sunma sınırına ulaşırsanız, yeni bir deneme başlatmadan önce çalışan bir denemeyi veya kullanıma sunma işlemini durdurmanız gerekir.

Bir denemede, referans değer dahil olmak üzere en fazla 8 varyant ve her varyant için en fazla 25 parametre olabilir. Bir denemenin boyutu yaklaşık 200 KiB'a kadar çıkabilir. Varyant adları, varyant parametreleri ve diğer yapılandırma meta verileri buna dahildir.