Firebase A/B testleri hakkında

Bu sayfa, test sonuçlarınızın alaka düzeyini ve faydasını en üst düzeye çıkarmanıza yardımcı olmak için Firebase A/B Testing'nın işleyişi hakkında ayrıntılı bilgi sağlar.

Örnek boyutu

Firebase A/B Testing çıkarımı için denemeye başlamadan önce minimum örneklem boyutunun belirlenmesi gerekmez. Genel olarak, rahatça kullanabileceğiniz en yüksek deneme gösterim düzeyini seçmelisiniz. Daha büyük örneklem boyutları, özellikle varyantlar arasındaki performans farkları küçük olduğunda istatistiksel olarak anlamlı bir sonuç bulma olasılığını artırır. Denemenizin özelliklerine göre önerilen örneklem boyutunu bulmak için online bir örneklem boyutu hesaplayıcısına danışmanız da faydalı olabilir.

Denemeleri düzenleme

Devam eden denemelerin seçili parametrelerini düzenleyebilirsiniz. Örneğin:

  • Deneme adı
  • Açıklama
  • Hedefleme koşulları
  • Varyant değerleri

Bir denemeyi düzenlemek için:

  1. Değiştirmek istediğiniz denemenin sonuçlar sayfasını açın.
  2. Diğer menüsünden Devam eden denemeyi düzenle'yi seçin.
  3. Değişikliklerinizi yapın ve Yayınla'yı tıklayın.

Çalışan bir deneme sırasında uygulamanın davranışını değiştirmenin sonuçları etkileyebileceğini unutmayın.

Remote Config varyant atama mantığı

Tüm deneme hedefleme koşullarını (yüzde gösterim koşulu dahil) karşılayan kullanıcılar, varyant ağırlıklarına ve deneme kimliğinin ve kullanıcının Firebase yükleme kimliğinin karma değerine göre deneme varyantlarına atanır.

Google Analytics Kitleler gecikmeye tabidir ve bir kullanıcı başlangıçta kitle ölçütlerini karşıladığında hemen kullanılamaz:

  • Oluşturduğunuz yeni kitlenin yeni kullanıcı toplaması 24 ila 48 saat sürebilir.
  • Yeni kullanıcılar, uygun hale geldikten sonra genellikle 24-48 saat içinde uygun kitlelere kaydedilir.

Zamandan bağımsız hedefleme için Google Analytics kullanıcı özelliklerini veya ülke ya da bölge, dil ve uygulama sürümü gibi yerleşik hedefleme seçeneklerini kullanabilirsiniz.

Bir kullanıcı denemeye girdikten sonra, kullanıcı özellikleri değişse ve artık deneme hedefleme ölçütlerini karşılamasa bile deneme etkin kaldığı sürece deneme varyantına kalıcı olarak atanır ve denemeden parametre değerleri alır.

Etkinleştirme etkinlikleri

Deneme etkinleştirme etkinlikleri, deneme ölçümünü yalnızca etkinleştirme etkinliğini tetikleyen uygulama kullanıcılarıyla sınırlar. Deneme etkinleştirme etkinliğinin, uygulama tarafından getirilen deneme parametreleri üzerinde herhangi bir etkisi yoktur. Deneme hedefleme ölçütlerini karşılayan tüm kullanıcılar deneme parametrelerini alır. Bu nedenle, deneme parametreleri getirilip etkinleştirildikten sonra ancak deneme parametreleri uygulamanın davranışını değiştirmek için kullanılmadan önce gerçekleşen bir etkinleştirme etkinliği seçmek önemlidir.

Varyant ağırlıkları

Deneme oluşturma sırasında, deneme kullanıcılarının daha büyük bir yüzdesini bir varyanta yerleştirmek için varsayılan varyant ağırlıklarını değiştirebilirsiniz.

Test sonuçlarını yorumlama

Firebase A/B Testing, deneme sonuçlarınızın yalnızca rastgele şans nedeniyle ortaya çıkma olasılığını anlamanıza yardımcı olmak için sıklıkçı çıkarım kullanır. Bu olasılık, olasılık değeri veya p değeri ile gösterilir. p değeri, iki varyant arasındaki bu kadar büyük veya daha büyük bir performans farkının, aslında herhangi bir etki olmamasına rağmen rastlantısal olarak ortaya çıkmış olma olasılığıdır. 0 ile 1 arasında bir değerle ölçülür. A/B Testing, 0,05 anlamlılık düzeyini kullanır.Bu nedenle:

  • 0,05'ten küçük bir p değeri, gerçek fark sıfır olsaydı bu kadar uç bir farkın rastgele oluşma olasılığının% 5'ten az olduğunu gösterir. Eşik 0,05 olduğundan 0,05'ten küçük tüm p değerleri, varyantlar arasında istatistiksel olarak önemli bir fark olduğunu gösterir.
  • 0,05'ten büyük bir p değeri, varyantlar arasındaki farkın istatistiksel olarak anlamlı olmadığını gösterir.

Deneme verileri günde bir kez yenilenir ve son güncelleme zamanı, deneme sonuçları sayfasının üst kısmında gösterilir.

Deneme sonuçları grafiğinde, seçilen metriğin kümülatif ortalama değerleri gösterilir. Örneğin, kullanıcı başına reklam gelirini metrik olarak izliyorsanız bu metrik, kullanıcı başına gözlemlenen geliri gösterir. Kilitlenme yaşamayan kullanıcıları izliyorsanız bu metrik, kilitlenme yaşamayan kullanıcıların yüzdesini gösterir. Bu veriler, denemenin başlangıcından itibaren kümülatif olarak hesaplanır.

Sonuçlar Gözlemlenen veriler ve Çıkarım verileri olarak ayrılır. Gözlemlenen veriler doğrudan Google Analytics verilerinden hesaplanır ve çıkarım verileri, gözlemlenen verilerin istatistiksel önemini değerlendirmenize yardımcı olmak için p değerleri ve güven aralıkları sağlar.

Her metrik için aşağıdaki istatistikler gösterilir:

Gözlemlenen veriler

  • İzlenen metriğin toplam değeri (elde tutulan kullanıcı sayısı, kilitlenen kullanıcı sayısı, toplam gelir)
  • Metriğe özel oran (elde tutma oranı, dönüşüm oranı, kullanıcı başına gelir)
  • Varyant ile temel değişken arasındaki yüzdelik fark (artış)

Çıkarım verileri

  • % 95 güven aralığı (Ortalamalardaki fark), izlenen metriğin "gerçek" değerini% 95 güvenle içeren bir aralığı gösterir. Örneğin, deneme sonuçlarınız tahmini toplam gelir için 5 ila 10 ABD doları arasında% 95 güven aralığına yol açarsa ortalamalardaki gerçek farkın 5 ila 10 ABD doları arasında olma ihtimali% 95'tir. GA aralığı 0'ı içeriyorsa varyant ile temel arasında istatistiksel olarak anlamlı bir fark tespit edilmemiştir.

    Güven aralığı değerleri, izlenen metriğe uygun biçimde gösterilir. Örneğin, kullanıcıları elde tutma için süre (HH:MM:SS cinsinden), kullanıcı başına reklam geliri için ABD doları ve dönüşüm oranı için yüzde.

  • Varyant ile referans değer arasında gerçek bir fark olmadığı göz önüne alındığında, denemede elde edilen sonuçlar kadar uç verilerin gözlemlenme olasılığını temsil eden p değeri. P değeri ne kadar düşük olursa denemeyi tekrarladığımızda gözlemlenen performansın doğru kalacağına dair güven de o kadar yüksek olur. 0,05 veya daha düşük bir değer, önemli bir fark olduğunu ve sonuçların şansa bağlı olma olasılığının düşük olduğunu gösterir. P değerleri, değişken değerinin referans değerden büyük olduğu bir tek kuyruklu teste dayanır. Firebase, sürekli değişkenler (gelir gibi sayısal değerler) için eşit olmayan varyanslı t-testi, dönüşüm verileri (kullanıcıları elde tutma, kilitlenme sorunu yaşamayan kullanıcılar, Google Analytics etkinliğini tetikleyen kullanıcılar gibi ikili değerler) için ise oranların z-testini kullanır.

Deneme sonuçları, her deneme varyantı için önemli analizler sağlar. Örneğin:

  • Her deneme metriğinin, doğrudan ölçüldüğü şekliyle (yani gerçek gözlemlenen veriler) temel değere kıyasla ne kadar yüksek veya düşük olduğu
  • Varyant ile referans değer arasındaki gözlemlenen farkın rastgele şans nedeniyle oluşmuş olma olasılığı (p değeri)
  • Her deneme metriği için varyant ile temel arasındaki "gerçek" performans farkını içerme olasılığı olan bir aralık. Bu aralık, "en iyi" ve "en kötü" performans senaryolarını anlamanın bir yoludur.

Google Optimize destekli denemelerin sonuçlarını yorumlama

23 Ekim 2023'ten önce başlatılan denemelerin Firebase A/B Testing sonuçları Google Optimize tarafından destekleniyordu. Google Optimize, deneme verilerinizden faydalı istatistikler oluşturmak için Bayesyen sonuç çıkarımı kullanıyordu.

Sonuçlar "gözlemlenen veriler" ve "modellenmiş veriler" olarak ikiye ayrılır. Gözlemlenen veriler doğrudan Analytics verilerine göre hesaplanır, modellenmiş veriler ise Bayes modelimizin gözlemlenen verilere uygulanmasıyla elde edilir.

Her metrik için aşağıdaki istatistikler gösterilir:

Gözlemlenen Veriler

  • Toplam değer (değişkendeki tüm kullanıcılar için metriğin toplamı)
  • Ortalama değer (varyanttaki kullanıcılar için metriğin ortalama değeri)
  • Temel değişkene göre yüzdelik fark

Modellenen Veriler

  • Orijinali geçme olasılığı: Bu varyantta metriğin, orijinal değere kıyasla daha yüksek olma olasılığı
  • Referans değerden yüzdelik fark: Varyant ve referans değer için metriğin ortalama model tahminlerine göre hesaplanır.
  • Metrik aralıkları: Metrik değerinin% 50 ve% 95 kesinlikle bulunma olasılığının en yüksek olduğu aralıklar

Genel olarak, deneme sonuçları denemedeki her varyant için üç önemli bilgi sunuyor:

  1. Her deneme metriğinin, doğrudan ölçüldüğü şekliyle (yani gerçek gözlemlenen veriler) temel değere kıyasla ne kadar yüksek veya düşük olduğu
  2. Bayes çıkarımına (sırasıyla daha iyi / en iyi olma olasılığı) göre her deneme metriğinin referans değerden / genel olarak en iyi değerden ne kadar yüksek olduğu
  3. Bayes çıkarımına dayalı olarak her deneme metriği için olası aralıklar: "en iyi durum" ve "en kötü durum" senaryoları (güvenilir aralıklar)

Lider belirleme

Frekansçı çıkarım kullanılan denemelerde Firebase, hedef metriğinde varyant ile temel arasında istatistiksel açıdan anlamlı bir performans farkı varsa varyantın lider olduğunu açıklar. Birden fazla varyant bu ölçütü karşılıyorsa en düşük p değerine sahip varyant seçilir.

Google Optimize'ın kullanıldığı denemelerde, birincil metrikte temel varyanttan daha iyi olma olasılığı %95'ten fazla olan varyantlar Firebase tarafından "net lider" olarak ilan edildi. Birden fazla varyant "net lider" ölçütünü karşılıyorsa yalnızca genel olarak en iyi performansı gösteren varyant "net lider" olarak etiketlenir.

Lider belirleme yalnızca birincil hedefe dayalı olduğundan, lider varyantı kullanıma sunup sunmamaya karar vermeden önce tüm ilgili faktörleri göz önünde bulundurmalı ve ikincil metriklerin sonuçlarını incelemelisiniz. Değişiklik yapmanın beklenen avantajını, dezavantaj riskini (ör. iyileşme için güven aralığının alt ucu) ve birincil hedef dışındaki metrikler üzerindeki etkisini göz önünde bulundurabilirsiniz.

Örneğin, birincil metriğiniz "Kilitlenmesiz kullanıcılar" ise ve A varyantı temel değerin açıkça önünde olsa da A varyantı kullanıcı tutma metrikleri temel değerin kullanıcı tutma metriklerinin gerisinde kalıyorsa A varyantını daha geniş bir şekilde kullanıma sunmadan önce daha ayrıntılı bir inceleme yapmanız gerekebilir.

Hem birincil hem de ikincil metriklerdeki performansın genel değerlendirmesine göre, yalnızca lider varyantı değil, herhangi bir varyantı kullanıma sunabilirsiniz.

Deneme süresi

Firebase, bir denemenin aşağıdaki koşullar karşılanana kadar devam etmesini önerir:

  1. Deneme, faydalı bir sonuç sağlamak için yeterli veriyi toplamıştır. Denemeler ve sonuç verileri günde bir kez güncellenir. Denemenizin önerilen örneklem boyutunu değerlendirmek için online bir örneklem boyutu hesaplayıcısına danışabilirsiniz.
  2. Deneme, kullanıcılarınızın temsili bir örneğini sağlamak ve uzun vadeli performansı ölçmek için yeterince uzun süre çalıştırılmıştır. İki hafta, tipik bir Remote Config denemesi için önerilen minimum çalışma süresidir.

Deneme verileri, deneme başlangıcından sonra en fazla 90 gün boyunca işlenir. 90 gün sonra deneme otomatik olarak durdurulur. Deneme sonuçları artık Firebase konsolunda güncellenmez ve deneme, denemeye özgü parametre değerleri göndermeyi durdurur. Bu noktada istemciler, Remote Config şablonunda ayarlanan koşullara göre parametre değerlerini getirmeye başlar. Geçmiş deneme verileri, denemeyi silene kadar saklanır.

BigQuery şeması

A/B Testing deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de de inceleyip analiz edebilirsiniz. A/B Testing için ayrı bir BigQuery tablosu olmasa da deneysel çalışma ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" biçimindedir. Burada 01, deneme kimliğini, userProperty.value.string_value ise deneme varyantının (sıfır tabanlı) dizinini içerir.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu sayede deneme sonuçlarınızı birçok farklı şekilde dilimleyebilir ve A/B Testing sonuçlarını bağımsız olarak doğrulayabilirsiniz.

Başlamak için bu rehberde açıklandığı şekilde aşağıdakileri tamamlayın:

  1. Firebase konsolunda Google Analytics için BigQuery dışa aktarmayı etkinleştirme
  2. BigQuery kullanarak A/B Testing verilerine erişme
  3. Örnek sorguları inceleyin

Firebase konsolunda BigQuery için Google Analytics dışa aktarmayı etkinleştirme

Spark planındaysanız BigQuery korumalı alanını kullanarak BigQuery'a korumalı alan sınırları dahilinde ücretsiz olarak erişebilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery sanal alanı başlıklı makaleyi inceleyin.

Öncelikle Analytics verilerinizi BigQuery konumuna aktardığınızdan emin olun:

  1. Entegrasyonlar sekmesini açın. Bu sekmeye Firebase konsolunda > Proje ayarları'nı kullanarak erişebilirsiniz.
  2. BigQuery'yı diğer Firebase hizmetleriyle birlikte kullanıyorsanız Yönet'i tıklayın. Aksi takdirde, Bağla'yı tıklayın.
  3. Firebase'i BigQuery'e Bağlama Hakkında başlıklı makaleyi inceleyin, ardından Sonraki'yi tıklayın.
  4. Entegrasyonu yapılandırın bölümünde Google Analytics açma/kapatma düğmesini etkinleştirin.

  5. Bir bölge seçin ve dışa aktarma ayarlarını belirleyin.

  6. �BigQuery ile Bağla'yı tıklayın.

Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hâle gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery dışa aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery dışa aktarma başlıklı makaleyi inceleyin.

BigQuery'de A/B Testing verilerine erişme

Belirli bir denemeyle ilgili verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tümünü edinmeniz gerekir:

  • Deneme kimliği: Bu kimliği, Denemeye genel bakış sayfasının URL'sinden edinebilirsiniz. Örneğin, URL'niz şu şekilde görünüyorsa: https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, deneme kimliği 25'tir.
  • Google Analytics mülk kimliği: Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bu bilgiyi Google Analytics içinde bulabilirsiniz. Ayrıca, Google Analytics etkinlik tablonuzun (project_name.analytics_000000000.events) adını göstermek için proje adınızı genişlettiğinizde BigQuery içinde de görünür.
  • Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (YYYYMMDD sonekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Bu nedenle, denemeniz 2 Şubat 2024 ile 2 Mayıs 2024 arasında çalıştıysa _TABLE_SUFFIX between '20240202' AND '20240502' belirtirsiniz. Örnek için Belirli bir denemenin değerlerini seçme başlıklı makaleye bakın.
  • Etkinlik adları: Bunlar genellikle denemede yapılandırdığınız hedef metriklerinizle eşleşir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.

Sorgunuzu oluşturmak için gereken bilgileri topladıktan sonra:

  1. Google Cloud konsolunda BigQuery'ı açın.
  2. Projenizi ve ardından SQL sorgusu oluştur'u seçin.
  3. Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için Örnek sorguları keşfetme bölümüne bakın.
  4. Çalıştır'ı tıklayın.

Firebase konsolunun otomatik olarak oluşturduğu sorguyu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfasında, görüntülediğiniz denemenin adını, varyantlarını, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu yer alır.

Otomatik olarak oluşturulan sorguyu almak ve çalıştırmak için:

  1. Firebase konsolunda A/B Testing simgesini açın ve sorgulamak istediğiniz A/B Testing denemesini seçerek Denemeye genel bakış sayfasını açın.
  2. Seçenekler menüsünde, BigQuery entegrasyonu bölümünde Sorgu denemesi verileri'ni seçin. Bu işlem, projenizi BigQuery içinde açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.Google Cloud

Aşağıdaki örnekte, "Kışa hoş geldin denemesi" adlı ve üç varyantı (referans değeri dahil) olan bir deneme için oluşturulan sorgu gösterilmektedir. Etkin deneme adını, varyant adını, benzersiz etkinliği ve her etkinlik için etkinlik sayısını döndürür. Sorgu oluşturucunun, doğrudan projenizde açıldığından tablo adında proje adınızı belirtmediğini unutmayın.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Ek sorgu örnekleri için Örnek sorguları inceleme bölümüne gidin.

Keşfetme özelliğiyle ilgili örnek sorgular

Aşağıdaki bölümlerde, A/B Testing deneme verilerini Google Analytics etkinlik tablolarından ayıklamak için kullanabileceğiniz sorgularla ilgili örnekler verilmiştir.

Tüm denemelerden satın alma ve deneme standart sapma değerlerini ayıklayın.

Deneme sonuçları verilerini kullanarak Firebase A/B Testing sonuçları bağımsız olarak doğrulayabilirsiniz. Aşağıdaki BigQuery SQL ifadesi deneme varyantlarını, her varyanttaki tekil kullanıcı sayısını ve in_app_purchase ile ecommerce_purchase etkinliklerinden elde edilen toplam geliri, _TABLE_SUFFIX başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemeler için standart sapmaları çıkarır. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak için bu sorgudan elde ettiğiniz verileri tek kuyruklu t-testleri için istatistiksel önemlilik üreteciyle birlikte kullanabilirsiniz.

A/B Testing'nın çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için Test sonuçlarını yorumlama başlıklı makaleyi inceleyin.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçme

Aşağıdaki örnek sorgu, BigQuery içinde belirli bir denemeyle ilgili verilerin nasıl alınacağını gösterir. Bu örnek sorgu, deneme adını, varyant adlarını (temel varyant dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

Sınırlar

A/B Testing toplam 300 deneme, 24 çalışan deneme ve 24 taslak deneme ile sınırlıdır. Bu sınırlar, Remote Config kullanıma sunma işlemleriyle paylaşılır. Örneğin, iki yayında olan lansmanınız ve üç yayında olan denemeniz varsa 19 ek lansman veya deneme yapabilirsiniz.

  • Toplam 300 deneme sınırına veya 24 taslak deneme sınırına ulaşırsanız yeni bir deneme oluşturmadan önce mevcut bir denemeyi silmeniz gerekir.

  • 24 çalışan deneme ve kullanıma sunma sınırına ulaşırsanız yeni bir deneme veya kullanıma sunma başlatmadan önce çalışan bir denemeyi ya da kullanıma sunmayı durdurmanız gerekir.

Bir denemede en fazla 8 varyant (referans noktası dahil) ve her varyant için 25 parametre olabilir. Bir deneme yaklaşık 200 KiB boyutunda olabilir. Buna varyant adları, varyant parametreleri ve diğer yapılandırma meta verileri dahildir.