Android uygulamanızda test çalıştırmak için Firebase Test Lab aracını kullanmanın birden fazla yolu vardır. Bunlar arasında komut satırı arayüzü, Android Studio, Firebase konsolundaki Test Lab kullanıcı arayüzü ve Testing API yer alır. Testlerinizi nasıl başlatmayı seçerseniz seçin, sonuçlar belirttiğiniz Firebase projesinde depolanır. Yukarıdaki araçlardan herhangi birine ek olarak ToolResults API'yi kullanarak sonuçları inceleyebilirsiniz. Bu sayfada, bu test sonuçlarının nasıl incelenip analiz edileceği açıklanmaktadır.
Temel kavramlar
Firebase konsolunda, DevOps ve Etkileşim > Test Lab'e giderek önceki tüm test çalıştırmalarınızın sonuçlarını görebilirsiniz. Bu sayfada, Test Lab kullanarak projenizle test ettiğiniz uygulamalardaki test çalıştırmalarının tüm ayrıntılı sonuçları gösterilir.
Test sonuçlarını incelemek için öncelikle üç kavramı anlamanız gerekir:
Seçtiğiniz cihazlar ve yapılandırmalar için bir test veya bir dizi test durumu çalıştırdığınızda Test Lab, testi uygulamanızda toplu olarak çalıştırır ve sonuçları test matrisi olarak gösterir.
Cihazlar × Test İşlemleri = Test Matrisi
- Cihaz
- Üzerinde test çalıştırdığınız fiziksel veya sanal cihaz (yalnızca Android). Örneğin, telefon, tablet veya giyilebilir cihaz. Test matrisindeki cihazlar; cihaz modeli, OS sürümü, ekran yönü ve yerel ayar (coğrafya ve dil ayarları olarak da bilinir) ile tanımlanır.
- Test, test işlemi
- Cihazda çalıştırılacak bir test (veya bir dizi test durumu). Cihaz başına bir test çalıştırabilir veya isteğe bağlı olarak testi parçalara ayırıp test durumlarını farklı cihazlarda çalıştırabilirsiniz.
- Test matrisi
- Test işlemlerinizin durumlarını ve test sonuçlarını içerir. Bir matristeki herhangi bir test işlemi başarısız olursa matrisin tamamı başarısız olur.
Aşağıdaki bölümlerde, test sonuçlarında nasıl gezineceğiniz açıklanmaktadır.
Test geçmişi sonuçlarını yorumlama
Test Lab simgesini seçerek test sonuçlarınıza gittiğinizde, şimdiye kadar çalıştırdığınız testlerin sonuçlarını görürsünüz.
Test geçmişi uygulamaya göre gruplandırılır. Her uygulama için yalnızca en son beş test matrisi gösterilir. Daha fazla matris varsa uygulamanın tam listesini görmek için uygulama testi listesinin altındaki Tüm Matrisler bağlantısını tıklayabilirsiniz.
Test matrisi sonuçlarını yorumlama
Test Lab kullanıcı arayüzü üzerinden bir test başlattığınızda, test matrisinizi görebileceğiniz ve test sonuçlarını görüntülemek için belirli bir test işlemini tıklayabileceğiniz bir sayfaya yönlendirilirsiniz. Android Studio ve gcloud komutu, test matrisi sonuçları sayfası için de bir URL sağlar.
Tipik bir test matrisinde, testi yaklaşık bir düzine farklı cihazda çalıştırabilirsiniz. Her test işleminin farklı bir sonucu olabilir. Bir test matrisindeki test işlemlerinin olası sonuçları şunlardır:
başarılı: Hiçbir hatayla karşılaşılmadı.- Başarısız
: En az bir hatayla karşılaşıldı. - Kesin değil
: Test sonuçları, muhtemelen bir Test Lab hatası nedeniyle kesin değil. - Atlandı
: Matristeki bazı test işlemleri için seçilen boyut değerleri uyumsuzdu. Bu durum, seçtiğiniz cihazlar, seçtiğiniz Android API düzeylerinden biri veya daha fazlasıyla uyumlu olmadığında ortaya çıkar.
Firebase projenizdeki belirli bir uygulamanın tüm test matrisleri için toplu test sonuçlarını incelemek istiyorsanız aşağıdaki örnekte gösterildiği gibi uygulamanın adını tıklayın:
Yalnızca dört test işlemi içeren örnek test matrisi sonuçları sayfası
Bu işlem sizi uygulamanızın test matrisi listesine götürür. Burada, test matrisi sonuçlarını görmek için herhangi bir test matrisinin adını tıklayabilir ve Firebase projenizle ilişkili diğer uygulamaların test matrisi listesini görüntülemek için uygulamanın adını (aşağıdaki kırmızı kutuda gösterilir) tıklayabilirsiniz.
Örnek test matrisi liste sayfası
Test matrisi başarılı, başarısız veya sonuçsuz olabilir. Bir test matrisindeki test işlemlerinden herhangi biri başarısız veya sonuçsuz olursa o test matrisi başarısız ya da sonuçsuz olarak gösterilir.
Robo testi sonuçlarını yorumlama
Testlerinizi Robo ile çalıştırdıysanız sonuçlarınızda, her zamanki test metriklerinin yanı sıra Robo'nun kullanıcı arayüzünüzü taradığı videolar ve ekran görüntüleri de yer alır. Bu video ve ekran görüntüleri, Android'deki "Dokunmaları göster" özelliğine benzer şekilde, Robo'nun tarama sırasında gerçekleştirdiği işlemlerin görsel göstergelerini içerir. Robo'nun ilerleme durumunu takip etmek ve ortaya çıkarabileceği hataları yeniden oluşturmak için bu göstergeleri kullanabilirsiniz.
Örnek Robo testi sonuçları videosu
Tek bir test işleminin sonuçlarını yorumlama
Test matrisi sonuçları sayfasında, belirli bir test işleminin sonucunu görmek için ilgili test işlemini tıklayın.
Örnek test işlemi sonuçları sayfası
Bu sayfada, her bir test işlemi için gereken süreyi görebilirsiniz. Ayrıca, test APK'nızdaki (enstrümantasyon testleri için) yöntemlere karşılık gelen belirli test durumlarının sonuçlarını ve test günlükleri, ekran görüntüleri ve videolar dahil olmak üzere ayrıntılı test sonuçlarını görebilirsiniz. Robo test için ayrıntılı test sonuçları, Robo test tarafından ziyaret edilen kullanıcı arayüzü yollarını grafik olarak gösteren bir etkinlik haritası da içerir.
Bölümlere ayrılmış enstrümantasyon testi sonuçları
Test Lab, enstrümantasyon testi sonuçlarını yorumlamanıza yardımcı olmak için her testi yığın izlemeleri (stack trace), günlükler ve videolarla birlikte kendi ayrıntılı rapor sayfasına ayırır. Bu özellik, Android Orchestrator'ı kullanıp kullanmadığınızdan bağımsız olarak çalışır.
Örnek test senaryosu sonuçları sayfası
Erişilebilirlik sonuçlarını yorumlama
Robo testler, uygulamanızdaki erişilebilirlik sorunlarını tespit etmek için Android Erişilebilirlik Tarayıcısı'nı kullanır (cihazınızda yerel olarak da tarama yapabileceğinizi unutmayın). Robo testinizin erişilebilirlik sonuçlarını inceleme ve yorumlama ile ilgili talimatlar için Erişilebilirlik Tarayıcısı'nı kullanmaya başlama başlıklı makaleyi inceleyin.
Uygulamanızın erişilebilirliğini nasıl iyileştireceğinizle ilgili genel bilgi için Android Geliştiricisi Erişilebilirlik belgelerini inceleyin.
Performans metrikleri
Fiziksel cihazlarda çalıştırılan testler, performans metriklerini de döndürür:
| Metrik | Gerekli cihaz yapılandırması |
|---|---|
| Uygulama başlatma süresi | API 19+ |
| CPU kullanımı | API 21+ |
| Bellek kullanımı | |
| Ağ etkinliği | |
| Saniyedeki kare sayısı | API 21 ve sonraki sürümler ve SurfaceView içerir |
Ayrıntılı test sonuçları
Ayrıntılı test sonuçları, test çalıştırıldıktan sonra 90 gün boyunca kullanılabilir ve bir Google Cloud Storage paketinde depolanır (ancak Firebase konsolunda da görünür). Test işlemi sonuçları sayfasında Test sonuçları'nı tıkladığınızda ayrıntılı test sonuçlarını Cloud Storage paketinde görebilirsiniz. Ayrıntılı test sonuçları artık mevcut olmadığında hangi testlerin başarılı veya başarısız olduğunu görmeye devam edebilirsiniz.
Ayrıntılı test sonuçlarını 90 günden daha uzun süre saklamak istiyorsanız --results-bucket gcloud komut satırı seçeneğini kullanarak bu test sonuçlarını size ait bir Cloud Storage paketine gönderebilirsiniz. Ardından, sonuçların Cloud Storage paketinizde ne kadar süre saklanacağını belirlemek için Yaş ayarını yapabilirsiniz. Yaş ayarını nasıl değiştireceğiniz hakkında bilgi edinmek için Yaşam döngüsü koşulları bölümüne bakın.
Testi çalıştırırken does not have storage.objects.create access to the Google Cloud Storage object. Permission 'storage.objects.create' denied on resource (or it may not exist).. hatasını alırsanız testi yürüten asıl, projede doğru izne sahip olmayabilir. Firebase, varsayılan olarak Google Cloud Storage'da sizin için bir paket oluşturur ancak testi yürüten sorumlunun, izin veren bir rol olan "roles/editor" rolüne sahip olması gerekir. Bu rolü, ilgili kullanıcıya veremiyorsanız --results-bucket gcloud komut satırı seçeneğini kullanabilirsiniz.