Test Lab sorun giderme & SSS

Testimin çalıştırılması neden bu kadar uzun sürüyor?

Katalogda kapasite seviyesi yüksek bir cihaz seçtiğinizde testler daha hızlı başlayabilir.Test Lab Cihazın kapasitesi düşükse testlerin çalıştırılması daha uzun sürebilir. Çağrılan testlerin sayısı, seçilen cihazların kapasitesinden çok daha fazlaysa testlerin tamamlanması daha uzun sürebilir.

Herhangi bir cihaz kapasitesi düzeyinde çalışan testler, aşağıdaki faktörler nedeniyle daha uzun sürebilir:

• Trafik, cihaz kullanılabilirliğini ve test hızını etkiler.
• Cihaz veya altyapı arızaları her an meydana gelebilir. Test Lab için bildirilen bir altyapı sorunu olup olmadığını kontrol etmek için Firebase durum kontrol paneline bakın.

Test Lab uygulamasındaki cihaz kapasitesi hakkında daha fazla bilgi edinmek için Android ve iOS ile ilgili cihaz kapasitesi bilgilerini inceleyin.

Neden kesin olmayan test sonuçları alıyorum?

Kesin olmayan test sonuçları genellikle iptal edilen test çalıştırmaları veya altyapı hataları nedeniyle ortaya çıkar.

Altyapı hataları, ağ hataları veya beklenmedik cihaz davranışları gibi dahili Test Lab sorunlarından kaynaklanır. Test Lab, sonuçsuz bir sonuç bildirmeden önce birden çok kez altyapı hatası üreten test çalıştırmalarını dahili olarak devre dışı bırakır. Ancak failFast kullanarak bu yeniden denemeleri devre dışı bırakabilirsiniz.

Hatanın nedenini belirlemek için aşağıdaki adımları uygulayın:

1. Firebase durum kontrol panelinde bilinen kesintiler olup olmadığını kontrol edin.

2. Tekrarlanabilir olduğunu doğrulamak için testi Test Lab içinde yeniden deneyin.

3. Mümkünse testi farklı bir cihazda veya cihaz türünde çalıştırmayı deneyin.

Sorun devam ederse Firebase Slack'teki #test-lab kanalında Test Lab ekibiyle iletişime geçin.

Parçalama, testlerimin neden daha uzun sürmesine neden oldu?

Belirttiğiniz parça sayısı Test Lab içinde kullanılabilecek cihaz sayısını aştığında parçalama, testlerinizin daha uzun sürmesine neden olabilir. Bu durumla karşılaşmamak için farklı bir cihaza geçmeyi deneyin. Farklı bir cihaz seçme hakkında daha fazla bilgi için Cihaz kapasitesi.

Testimin başlaması neden uzun sürüyor?

Bir test isteği gönderdiğinizde uygulamanız önce doğrulanır, yeniden imzalanır ve bir cihazda test çalıştırmaya hazırlanır. Normalde bu işlem birkaç saniyeden kısa sürer ancak uygulamanızın boyutu gibi faktörlerden etkilenebilir.

Uygulamanız hazırlandıktan sonra test işlemleri planlanır ve bir cihaz testi çalıştırmaya hazır olana kadar kuyrukta kalır. Tüm test işlemleri tamamlanana kadar matris durumu "Beklemede" olur (test işlemlerinin sırada veya etkin bir şekilde çalışıyor olmasına bakılmaksızın).

Testimin tamamlanması neden bu kadar uzun sürüyor?

Test işlemi tamamlandıktan sonra test yapıları cihazdan indirilir, işlenir ve Cloud Storage platformuna yüklenir. Bu adımın süresi, yapıların miktarı ve boyutundan etkilenebilir.

Uygulama veri döndürmüyor ve ekran görüntülerini bulamıyor

Test işlemi yapıları (ör. ekran görüntüleri ve günlük dosyaları) Google Cloud Storage içinde depolanır ve doğrudan Firebase konsolunda oluşturulur. Test işleminiz son 90 gün içinde gerçekleştirildiyse proje düzeyinde roller (proje sahibi, proje düzenleyicisi veya proje görüntüleyicisi) atadığınızdan emin olun. Ayrıca projeniz veya kuruluşunuz için Cloud Denetleme Günlüğü'nün etkinleştirilmediğinden emin olun.

Yürütme 90 günden daha uzun süre önce gerçekleştirildiyse test yapıları büyük olasılıkla otomatik olarak silinmiştir. Test Lab kontrol panelindeki Test sonuçları sekmesini tıklayarak sonuç grubu yapılandırmasını kontrol edebilirsiniz. Varsayılan sonuç paketi, nesneleri 90 gün boyunca saklayacak şekilde yapılandırılmıştır.

Test yapılarınızı daha uzun süre saklamak için gcloud firebase test android run komutunu --results-bucket işaretiyle çalıştırın ve sonuç paketinin adını iletin. Daka fazla bilgi için gcloud firebase test android run referans belgelerini inceleyin.

Neden kısmi veya eksik enstrümantasyon testi durumu sonuçları alıyorum?

Enstrümantasyon testleri çalıştırdığınızda, Test run failed to complete. Expected x tests, received y gibi mesajlar içeren kısmi sonuçları gösteren test hataları görebilirsiniz (burada y, x değerinden küçüktür). Bu hata, Test Lab aracının, genellikle AndroidJUnitRunner tarafından oluşturulan test durumu başlangıç veya bitiş işaretçileri için logcat'i ayrıştıramadığı anlamına gelir.

Bu sorunun yaygın nedenleri şunlardır:

Test Lab için ücretsiz kotalar nelerdir? Kredim biterse ne yapmalıyım?

Firebase Test Lab, cihazlarda test yapmak ve Cloud API'lerini kullanmak için ücretsiz kotalar sunar. Test kotasının standart Firebase fiyatlandırma planını kullandığını, Cloud API kotalarının ise kullanmadığını unutmayın.

• Test kotası

  Test kotaları, testleri çalıştırmak için kullanılan cihaz sayısına göre belirlenir. Firebase Spark planında, kullanıcılara ücretsiz olarak sunulan sabit bir test kotası vardır. Blaze planında, Google Cloud kullanımınız zaman içinde artarsa kotalarınız da artabilir. Test kotanıza ulaşırsanız bir sonraki güne kadar bekleyin veya şu anda Spark planını kullanıyorsanız Blaze planına geçin. Blaze planını kullanıyorsanız kota artışı isteğinde bulunabilirsiniz. Daha fazla bilgi için Test kotası başlıklı makaleyi inceleyin.

  Test kotası kullanımınızı Google Cloud konsolunda izleyebilirsiniz.

• Cloud Testing API kotası

  Cloud Testing API'nin iki kota sınırı vardır: proje başına günlük istek sayısı ve proje başına her 100 saniyedeki istek sayısı. Kullanımınızı Google Cloud konsolundan izleyebilirsiniz.

• Cloud Tool Results API kotası

  Cloud Tool Results API'nin iki kota sınırı vardır: proje başına günlük sorgu sayısı ve proje başına her 100 saniyedeki sorgu sayısı. Kullanımınızı Google Cloud konsolundan izleyebilirsiniz.

  API sınırları hakkında daha fazla bilgi için Test Lab için Cloud API kotaları başlıklı makaleyi inceleyin. API kotasına ulaştıysanız:

  • Doğrudan Google Cloud konsolunda kotalarınızı düzenleyerek daha yüksek kotalar için istekte bulunun (çoğu sınırın varsayılan olarak maksimum değere ayarlandığını unutmayın) veya

  • Google Cloud konsolunda bir istek formu doldurarak veya Firebase Destek Ekibi ile iletişime geçerek daha yüksek API kotaları talep edin.

Arka ucuma ulaşan trafiğin Test Lab üzerinden gelip gelmediğini nasıl öğrenebilirim?

Arka ucunuzdan, kaynak IP adresini IP aralıklarımızla karşılaştırarak trafiğin Firebase tarafından barındırılan test cihazlarından gelip gelmediğini belirleyebilirsiniz.

Test Lab, VPC-SC ile çalışır mı?

Test Lab, VPC-SC ile çalışmaz. VPC-SC, uygulamaların ve diğer test yapılarının Test Lab'ın dahili depolama alanı ile kullanıcıların sonuç paketleri arasında kopyalanmasını engeller.

Test Lab uygulamasında güvenilir olmayan testleri nasıl tespit edebilirim?

Testlerinizdeki tutarsız davranışları tespit etmek için --num-flaky-test-attempts seçeneğini kullanmanızı öneririz. Deflake yeniden çalıştırmaları, normal test işlemleriyle aynı şekilde faturalandırılır veya günlük kotanıza dahil edilir.

Şunları unutmayın:

• Bir hata algılandığında test işlemi baştan sona tekrar çalıştırılır. Yalnızca başarısız test durumlarının yeniden denenmesi desteklenmez.
• Kararsızlık giderme yeniden deneme çalıştırmaları aynı anda çalıştırılacak şekilde planlanır ancak paralel olarak çalıştırılacağı garanti edilmez. Örneğin, trafik mevcut cihaz sayısını aştığında paralel olarak çalıştırılmaz.

Test Lab; Appium, Flutter/FlutterDriver, ReactNative/Jest veya Cucumber'ı destekliyor mu?

Bu öğelerden bazıları yol haritamızda yer alsa da şu anda bu test ve uygulama geliştirme platformlarını destekleme konusunda taahhütte bulunamıyoruz.

Çözünürlük gibi cihaz ayrıntılarını nerede bulabilirim?

Ayrıntılı cihaz bilgilerine API üzerinden erişilebilir. Bu bilgilere gcloud istemcisinden describe komutu kullanılarak erişilebilir:

gcloud firebase test ios models describe MODEL

iOS testlerinde parçalama kullanabilir miyim?

Parçalama, iOS için Test Lab uygulamasında yerel olarak desteklenmez. Ancak iOS test durumlarını parçalara ayırmak için Flank istemcisini kullanabilirsiniz.

Bu işlem, .xctestrun dosyasında OnlyTestIdentifiers anahtarını ve değerlerini ayarlayarak yapılır. Daha fazla bilgi için xcodebuild.xctestrun ile ilgili man sayfasına bakın.

iOS test sonuçlarımda neden video yok?

iOS 18 veya sonraki sürümlerde, sonuçlarda videoları destekleyemiyoruz.

Test Lab, giyilebilir cihazları destekliyor mu?

Evet! Test Lab, Google Pixel Watch'u destekler. Artık Google Pixel Watch'larda bağımsız Wear uygulamanızda testler çalıştırabilirsiniz. Test Lab cihazlar hakkında daha fazla bilgi edinmek için Kullanılabilir cihazlarda test etme başlıklı makaleyi inceleyin.

Test Lab, en yeni Google cihazlarını destekliyor mu?

Evet! Test Lab, Google Pixel Tablet ve Google Pixel Fold'u destekler. Testlerinizi bağımsız fiziksel cihazlarınızda çalıştırabilirsiniz. Test Lab cihazlar hakkında daha fazla bilgi edinmek için Kullanılabilir cihazlarda test etme başlıklı makaleyi inceleyin.

Test Lab uygulamasında çalışan bir testi nasıl tespit ederim?

Uygulamanızı Firebase'de test ediyorsanız veya Play Console'da lansman öncesi rapor için testler çalıştırıyorsanız MainActivity dosyanızda firebase.test.lab sistem özelliğini kontrol ederek testin Firebase tarafından barındırılan bir cihazda çalıştırılıp çalıştırılmadığını tespit edebilirsiniz. Ardından testLabSetting için boole değerine göre ek ifadeler yürütebilirsiniz. Daha fazla bilgi için Değiştirilen test davranışları başlıklı makaleyi inceleyin.

Test Lab; Appium, Flutter/FlutterDriver, ReactNative/Jest veya Cucumber'ı destekliyor mu?

Bu öğelerden bazıları yol haritamızda yer alsa da şu anda bu test ve uygulama geliştirme platformlarını destekleme konusunda taahhütte bulunamıyoruz. Ancak uygulamanızı Espresso'yu destekleyen bir çerçeveyle (ör. Flutter) oluşturduysanız Espresso kullanarak bir enstrümantasyon testi yazabilir ve ardından testi Test Lab uygulamasında çalıştırabilirsiniz.

Test Lab, gizlenmiş uygulamaların (ör. ProGuard veya R8 ile) test edilmesini destekliyor mu?

Test Lab, kod karartma veya kod gösterme işlemlerini açıkça desteklemez. Uygulama büyük olasılıkla çalışır ancak yığın izlemeleri gibi gizlenmiş uygulama verileri, günlüklerde gizlenmiş olarak görünür.

Test Lab üzerinde test yaparken katlanabilir cihazımı farklı katlanabilir durumlarda ve şekillerde kullanabilir miyim?

Evet! Katlanabilir cihazınızı katlanabilir durumlarda ve pozisyonlarda test edebilirsiniz.

Katlanabilir cihazlar, FLAT (tamamen açık) veya HALF_OPENED (tamamen açık ile tamamen kapalı arasında) gibi çeşitli katlanmış durumlarda olabilir.

Duruşlar ise belirli cihaz yönü ve katlanabilir durumdan oluşur. Örneğin, yatay yönde HALF_OPENED durumunda olan masaüstü duruşu veya dikey yönde HALF_OPENED durumunda olan kitap duruşu.

Enstrümantasyon testleri çalıştırıyorsanız farklı durum ve duruşlarda test yapmak için Jetpack WindowManager kitaplığını kullanabilir ve Uygulamanızı katlanabilir cihazlarda test etme başlıklı makaledeki adımları uygulayabilirsiniz.

Alternatif olarak, kullanılabilir durumlar cihaza özeldir ve adb shell command cmd device_state kullanılarak etkileşime geçilebilir.

• Mevcut durumu listelemek için adb shell cmd device_state state komutunu çalıştırın.
• Mevcut durumu ayarlamak veya geçersiz kılmak için adb shell cmd device_state state <IDENTIFIER> komutunu çalıştırın.
• Durumu sıfırlamak için adb shell cmd device_state state reset komutunu çalıştırın.
• Kullanılabilir durumları kontrol etmek için katlanabilir cihazda adb shell cmd device_state print-states komutunu çalıştırın.

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSED', app_accessible=true},
    DeviceState{identifier=1, name='HALF_OPENED', app_accessible=true},
    DeviceState{identifier=2, name='OPENED', app_accessible=true},
    DeviceState{identifier=3, name='REAR_DISPLAY_STATE', app_accessible=true},
]

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSE', app_accessible=true},
    DeviceState{identifier=1, name='TENT', app_accessible=true},
    DeviceState{identifier=2, name='HALF_FOLDED', app_accessible=true},
    DeviceState{identifier=3, name='OPEN', app_accessible=true},
]

Uygulamam yoksa Test Lab hizmetini deneyebilir miyim?

Diğer Firebase ürünlerinin aksine, Test Lab ürününü kullanmak için Firebase SDK'sı eklemeniz gerekmez. Henüz bir uygulamanız yoksa internetten APK indirebilir veya AndroidX GitHub deposundaki örneklerden birini kullanarak uygulama ve test APK'sı oluşturabilirsiniz. Robo testi çalıştırmak için yalnızca uygulamanızın APK dosyasına ihtiyacınız vardır. Enstrümantasyon testi için ise kaynak koddan oluşturulmuş bir uygulama ve test APK'sı gerekir. Daha fazla bilgi için Araçlı testler hakkındaki makaleyi okuyun.

Test Lab özellikleri hakkında daha fazla bilgi edinmek için Firebase Test Lab ile Android için test yapmaya başlama başlıklı makaleyi inceleyin.

Ekran görüntüsü farkı testi için en uygun cihazlar hangileridir?

Ekran görüntüsü farkı testi, test iddialarının, bir test çalıştırılırken elde edilen ekran görüntülerinin beklenen davranışı temsil eden altın görüntülerle karşılaştırılmasına dayandığı testtir. Bu tür testler bazı cihaz türlerinde diğerlerine göre daha kırılgan olabilir. Bu tür testler için Arm (*.arm) emülatör cihazlarını hedeflemenizi öneririz. ARM emülatör cihazları, Android Studio "genel" emülatörlerine çok benzeyen veya onlarla aynı olan görüntüler kullanır.

Beklenen değişiklikler olduğunda ekran görüntüsü testlerini daha sağlam hale getirmeye yardımcı olabilecek test kitaplıklarını da incelemenizi öneririz.

Test Lab, sanal cihazları günceller mi?

Evet! Sanal cihazlar, aşağıdaki değişiklikler yapıldığında güncellenir:

1. Mevcut resimlerde yapılan güncellemeler
2. Eski API düzeylerinin kullanımdan kaldırılması
3. Yeni Android API düzeyleri eklendi

Kapsam raporlarını nasıl etkinleştirebilirim?

Kapsam raporlarını etkinleştirmek için environmentVariables alanına coverage=true ekleyin. Android Test Orchestrator kullanıyorsanız kapsam sonuçlarını depolamak için bir dizin sağlamanız gerekir:

--environment-variables coverage=true,coverageFilePath=/sdcard/Download/

Orchestrator kullanmıyorsanız bir dosya yolu belirtebilirsiniz:

--environment-variables coverage=true,coverageFile=/sdcard/Download/coverage.ec

Çözünürlük, desteklenen ABI'ler gibi cihaz ayrıntılarını nerede bulabilirim?

Ayrıntılı cihaz bilgilerine API üzerinden ulaşılabilir ve gcloud istemcisinden describe komutu kullanılarak erişilebilir:

gcloud firebase test android models describe MODEL

Telefon olmadan Wear uygulamasına nasıl giriş yapabilirim?

Uygulamanız Google ile Oturum Açma'yı destekliyorsa bu işlem bir test hesabıyla otomatik olarak çalışır. Aksi takdirde, uygulamanız normalde giriş için telefon gerektiriyorsa girişi atlayan ve test sürümünüze yerleştirilmiş bir jeton kullanan bir derleme değişkeni oluşturabilir veya genellikle --other-files option kullanılarak gönderilen diskteki dosyalardan okuyabilirsiniz. Daha fazla bilgi edinmek için Robo testleriyle özel giriş ve metin girişi başlıklı makaleyi inceleyin.

Oturum açma CAPTCHA'ları

Robo testi, oturum açmak için kimlik bilgilerini girmenin dışında ek kullanıcı işlemi (ör. CAPTCHA doldurma) gerektiren oturum açma ekranlarını atlayamaz.

Otomatik oturum açma

iOS+ için Robo testlerinde (Beta) Google Hesabı ile otomatik oturum açma desteklenmez.

Kullanıcı arayüzü çerçevesi desteği

Robo test, Android kullanıcı arayüzü çerçevesindeki kullanıcı arayüzü öğelerini (View, ViewGroup ve WebView nesneleri dahil) kullanan uygulamalarda en iyi sonucu verir. Unity oyun motorunu kullanan uygulamalar da dahil olmak üzere diğer kullanıcı arayüzü çerçevelerini kullanan uygulamaları test etmek için Robo testi kullanırsanız test, ilk ekranın ötesini keşfetmeden çıkabilir.