Test Lab sorun giderme & SSS

Testim neden bu kadar uzun sürüyor?

Test Lab kataloğunda yüksek kapasite seviyesine sahip bir cihaz seçtiğinizde testler daha hızlı başlayabilir. Cihazın kapasitesi düşük olduğunda testlerin yürütülmesi daha uzun sürebilir. Çağrılan test sayısı seçilen cihazların kapasitesinden çok fazlaysa testlerin tamamlanması daha uzun sürebilir.

Herhangi bir seviyedeki cihaz kapasitesi seviyesinde yürütülen testler aşağıdaki faktörler nedeniyle daha uzun sürebilir:

• Trafik: Cihaz kullanılabilirliğini ve test hızını etkiler.
• Herhangi bir zamanda gerçekleşebilecek cihaz veya altyapı arızaları. Test Lab için raporlanmış bir altyapı olup olmadığını kontrol etmek için Firebase durum kontrol paneline bakın.

Test Lab'de cihaz kapasitesi hakkında daha fazla bilgi edinmek isterseniz Android ve iOS için cihaz kapasitesi bilgilerini inceleyin.

Neden geçersiz test sonuçları alıyorum?

Kesin olmayan test sonuçları, genellikle iptal edilen test çalıştırmaları veya altyapı hataları nedeniyle ortaya çıkar.

Altyapı hataları, ağ hataları veya beklenmedik cihaz davranışları gibi dahili Test Lab sorunlarından kaynaklanır. Test Lab, kesin olmayan bir sonucu bildirmeden önce altyapı hataları oluşturan test çalıştırmalarını dahili olarak kullanımdan kaldırır. Bununla birlikte, failFast özelliğini kullanarak bu yeniden denemeleri devre dışı bırakabilirsiniz.

Hatanın nedenini belirlemek için aşağıdaki adımları uygulayın:

1. Firebase durum kontrol panelinden bilinen kesintileri kontrol edin.

2. Tekrarlanabilir olduğunu doğrulamak için Test Lab'de testi tekrar deneyin.

3. Mümkünse testi farklı bir cihazda veya cihaz türünde çalıştırmayı deneyin.

Sorun devam ederse Firebase Slack'teki #test-lab kanalında Test Lab ekibiyle iletişime geçin.

Parçalama testlerimin neden daha uzun sürmesini sağladı?

Parçalama, belirttiğiniz parça sayısı Test Lab'de kullanılabilecek cihaz sayısını aştığında testlerinizin daha uzun süre çalışmasına neden olabilir. Bu durumu önlemek için farklı bir cihaza geçmeyi deneyin. Farklı cihaz seçme hakkında daha fazla bilgi için Cihaz Kapasitesi.

Testimin başlaması neden çok uzun sürüyor?

Test isteği gönderdiğinizde uygulamanız, bir cihazda test çalıştırmaya hazırlanmak için önce doğrulanır, yeniden imzalanır vb. Normalde bu işlem birkaç saniyeden daha kısa bir sürede tamamlanır ancak uygulamanızın boyutu gibi faktörlerden etkilenebilir.

Uygulamanız hazırlandıktan sonra test yürütmeleri planlanır ve cihaz çalıştırılmaya hazır olana kadar sırada tutulur. Tüm test yürütme işlemleri tamamlanana kadar matris durumu "Beklemede" olur (test yürütmelerinin sırada veya aktif olarak çalışmasından bağımsız olarak).

Testimin tamamlanması neden çok uzun sürüyor?

Test yürütme işlemi tamamlandıktan sonra test yapıları cihazdan indirilir, işlenir ve Cloud Storage'a yüklenir. Bu adımın süresi, yapıların miktarından ve boyutundan etkilenebilir.

Test Lab için ücretsiz kotalar nelerdir? Bütçem biterse ne yapmalıyım?

Firebase Test Lab, cihazlarda test yapmak ve Cloud API'lerini kullanmak için ücretsiz kotalar sunar. Test kotasının standart Firebase fiyatlandırma planını kullandığını, Cloud API kotalarının ise kullanmadığını unutmayın.

• Test kotası

  Test kotaları, testleri çalıştırmak için kullanılan cihaz sayısına göre belirlenir. Firebase Spark planında, kullanıcılar için ücretsiz olan sabit bir test kotası bulunur. Blaze planında, Google Cloud kullanımınız zamanla artarsa kotalarınız artabilir. Test kotanıza ulaşırsanız bir sonraki güne kadar bekleyin ya da şu anda Spark planı kullanıyorsanız Blaze planına yükseltin. Zaten Blaze planını kullanıyorsanız kota artışı talep edebilirsiniz. Daha fazla bilgi için Test kotası bölümüne bakın.

  Test kotası kullanımınızı Google Cloud Console'da izleyebilirsiniz.

• Cloud Testing API kotası

  Cloud Testing API'de iki kota sınırı vardır: proje başına günlük istek ve proje başına 100 saniyede bir istek. Kullanımınızı Google Cloud Console'dan izleyebilirsiniz.

• Cloud Tool Results API kotası

  Cloud Tool Results API'nin iki kota sınırı vardır: proje başına günlük sorgu ve proje başına 100 saniyede bir sorgu. Kullanımınızı Google Cloud Console'dan izleyebilirsiniz.

  API sınırları hakkında daha fazla bilgi edinmek için Test Lab için Cloud API kotaları'na bakın. Bir API kotasına ulaştıysanız:

  • Doğrudan Google Cloud Console'da kotalarınızı düzenleyerek daha yüksek kotalar için istek gönderin (çoğu sınırın varsayılan olarak maksimum değere ayarlandığını unutmayın) veya

  • Google Cloud Console'daki istek formunu doldurarak veya Firebase destek ekibiyle iletişime geçerek daha yüksek API kotaları talep edin.

Arka ucuma ulaşan trafiğin Test Lab'den gelip gelmediğini nasıl öğrenebilirim?

Arka ucunuzda, kaynak IP adresini IP aralıklarımızla karşılaştırarak kontrol ederek Firebase tarafından barındırılan test cihazlarından trafik gelip gelmediğini belirleyebilirsiniz.

Test Lab, VPC-SC ile çalışır mı?

Test Lab, VPC-SC ile çalışmaz. Bu, uygulamaların ve diğer test yapılarının Test Lab'in dahili depolama alanı ile kullanıcıların sonuç paketleri arasında kopyalanmasını engeller.

Test Lab'de güvenilir olmayan testleri nasıl tespit ederim?

Testlerinizde güvenilir olmayan davranışları tespit etmek için --num-flaky-test-attempts seçeneğini kullanmanızı öneririz. Deflake tekrar çalıştırmaları, normal test yürütmeleriyle aynı şekilde faturalandırılır veya günlük kotanıza dahil edilir.

Şunları unutmayın:

• Bir hata algılandığında test işleminin tamamı tekrar çalıştırılır. Yalnızca başarısız test durumlarını yeniden denemek desteklenmez.
• Deflake yeniden deneme çalıştırmaları aynı anda çalışacak şekilde planlanır ancak paralel olarak çalışacağı garanti edilmez (örneğin trafik, kullanılabilir cihaz sayısını aştığında).

Test Lab; Appium, Flutter/FlutterDriver, ReactNative/Jest veya Cucumber'ı destekliyor mu?

Bu öğelerin bazıları yol haritamızda olsa da şu anda bu test ve uygulama geliştirme platformlarını destekleme taahhüdünde bulunamıyoruz.

Çözünürlük gibi cihaz ayrıntılarını nerede bulabilirim?

Ayrıntılı cihaz bilgilerine API aracılığıyla erişilebilir ve bu bilgilere describe komutu kullanılarak gcloud istemcisinden erişilebilir:

gcloud firebase test ios models describe MODEL

Parçalama özelliğini iOS testleriyle kullanabilir miyim?

Parçalama, iOS için Test Lab'de yerel olarak desteklenmez. Ancak iOS test durumlarını parçalamak için Flank istemcisini kullanabilirsiniz.

Bu işlem, .xctestrun dosyasında OnlyTestIdentifiers anahtarı ve değerleri ayarlanarak çalışır. Daha fazla bilgiyi xcodebuild.xctestrun için man sayfasında bulabilirsiniz.

Oturum Açma Captcha'ları

Robo testi, oturum açmak için kimlik bilgilerini girmenin (ör. CAPTCHA tamamlama) ötesinde ek kullanıcı işlemi gerektiren oturum açma ekranlarını atlayamaz.

Kullanıcı arayüzü çerçevesi desteği

Robo testi Android kullanıcı arayüzü çerçevesindeki kullanıcı arayüzü öğeleri (View, ViewGroup ve WebView nesneleri dahil) kullanan uygulamalarda en iyi sonucu verir. Unity oyun motorunu kullanan uygulamalar da dahil olmak üzere diğer kullanıcı arayüzü çerçevelerini kullanan uygulamaları çalıştırmak için Robo testini kullanırsanız test, ilk ekranın ötesini keşfetmeden çıkış yapabilir.