Firebase Test Laboratuvarı Sonuçlarını Analiz Edin

Komut satırı arayüzü , Android Studio , Firebase konsolundaki Test Lab kullanıcı arayüzü ve Testing API dahil olmak üzere, Android uygulamanızda testler çalıştırmak için Firebase Test Lab'ı kullanmanın birden fazla yolu vardır. Testlerinizi nasıl başlatmayı seçerseniz seçin, sonuçlar belirttiğiniz Firebase projesinde saklanır. Yukarıdaki araçlardan herhangi birine ek olarak ToolResults API'yi kullanarak sonuçları inceleyebilirsiniz. Bu sayfada bu test sonuçlarının nasıl inceleneceği ve analiz edileceği açıklanmaktadır.

Anahtar kavramlar

Önceki tüm test çalıştırmalarınızın sonuçlarını görmek için Firebase konsolunda projenizin sol gezinme panelinde Test Laboratuvarı'nı seçin. Bu sayfa, Test Lab'ı kullanarak projenizle test ettiğiniz uygulamalardaki tüm test çalıştırmalarını görüntüler.

Test sonuçlarını incelemek için öncelikle üç kavramı anlamanız gerekir:

Seçtiğiniz cihazlara ve yapılandırmalara karşı bir test veya bir dizi test senaryosu çalıştırdığınızda, Test Lab, testi uygulamanızda toplu olarak çalıştırır ve ardından sonuçları bir test matrisi olarak görüntüler.

Cihazlar × Test Uygulamaları = Test Matrisi

Cihaz
Test yaptığınız telefon, tablet veya giyilebilir cihaz gibi fiziksel veya sanal bir cihaz (yalnızca Android). Test matrisindeki cihazlar, cihaz modeline, işletim sistemi sürümüne, ekran yönüne ve yerel ayara (coğrafya ve dil ayarları olarak da bilinir) göre tanımlanır.
Test, test yürütme
Bir cihazda çalıştırılacak bir test (veya bir dizi test senaryosu). Cihaz başına bir test çalıştırabilir veya isteğe bağlı olarak testi parçalayabilir ve test senaryolarını farklı cihazlarda çalıştırabilirsiniz.
Test matrisi
Test yürütmelerinize ilişkin durumları ve test sonuçlarını içerir. Bir matristeki herhangi bir test yürütmesi başarısız olursa, matrisin tamamı başarısız olur.

Aşağıdaki bölümlerde test sonuçlarında nasıl gezinileceği açıklanmaktadır.

Test geçmişi sonuçlarını yorumlama

Test Lab seçeneğini seçerek test sonuçlarınıza gittiğinizde o ana kadar gerçekleştirdiğiniz testlerin sonuçlarını görürsünüz.

Test geçmişi uygulamaya göre gruplandırılmıştır. Her uygulama için yalnızca en yeni beş test matrisi gösterilir; Daha fazlası mevcutsa, söz konusu uygulamanın tam listesini görmek için uygulama test listesinin altındaki Tüm Matrisler bağlantısını tıklayabilirsiniz.

Test matrisi sonuçlarını yorumlama

Test Laboratuvarı Kullanıcı Arayüzü aracılığıyla bir testi başlatırken, test matrisinizi görebileceğiniz ve test sonuçlarını görüntülemek için belirli bir test yürütmesine tıklayabileceğiniz bir sayfaya yönlendirilirsiniz. Android Studio ve gcloud komutu, test matrisi sonuçları sayfası için de bir URL sağlar.

Tipik bir test matrisinde, bir düzine kadar farklı cihazda test gerçekleştirebilirsiniz. Her test uygulamasının farklı bir sonucu olabilir. Bir test matrisindeki herhangi bir testin yürütülmesine ilişkin olası sonuçlar aşağıdakileri içerir:

  • GeçtiTest geçildi : Hiçbir arızayla karşılaşılmadı.
  • ArızalıTest başarısız : En az bir hatayla karşılaşıldı.
  • SonuçsuzTest geçildi : Test sonuçları muhtemelen bir Test Laboratuvarı hatası nedeniyle yetersizdi.
  • AtlandıTest geçildi : Matristeki bazı test uygulamaları için seçilen boyut değerleri uyumsuzdu. Bu durum, seçtiğiniz cihazların seçtiğiniz bir veya daha fazla Android API düzeyiyle uyumlu olmaması durumunda ortaya çıkar.

Firebase projenizdeki belirli bir uygulamanın tüm test matrislerine yönelik toplu test sonuçlarını incelemek için aşağıdaki örnekte gösterildiği gibi uygulamanın adını tıklayın:

Yalnızca dört test yürütmesi içeren örnek test matrisi sonuçları sayfası Test Matrisi Sonuçları

Bu sizi uygulamanızın test matrisi listesine götürür; burada test matrisi sonuçlarını görmek için herhangi bir test matrisinin adına tıklayabilirsiniz ve burada uygulamanın adına (aşağıdaki kırmızı kutuda gösterilmiştir) tıklayabilirsiniz. Firebase projenizle ilişkili diğer uygulamalar için matris listesini test edin.

Örnek test matrisi liste sayfası Test Matrisi Listesi

Bir test matrisi başarılı olabilir, başarısız olabilir veya sonuçsuz kalabilir. Bir test matrisindeki herhangi bir test yürütmesi başarısız olursa veya sonuçsuz kalırsa, test matrisi başarısız veya sonuçsuz olarak gösterilir.

Robo test sonuçlarını yorumlayın

Testlerinizi Robo ile çalıştırdıysanız sonuçlarınız, olağan test ölçümlerine ek olarak Robo'nun kullanıcı arayüzünüzü taradığı videoları ve ekran görüntülerini içerir. Bu video ve ekran görüntüleri, Android'deki 'Dokunuşları göster' özelliğine benzer şekilde Robo'nun tarama sırasında gerçekleştirdiği eylemlerin görsel göstergelerini içeriyor. Robo'nun ilerleyişini takip etmenize ve ortaya çıkarabileceği hataları yeniden oluşturmanıza yardımcı olması için göstergeleri kullanabilirsiniz.

Örnek Robo test sonuçları videosu

Robot testi sonuçları

Tek bir test yürütmesinden elde edilen sonuçları yorumlama

Belirli bir test yürütmesinin sonucunu görmek için test matrisi sonuçları sayfasından test yürütmelerinden birine tıklayın.

Örnek test yürütme sonuçları sayfasıTest yürütme sonuçları

Bu sayfada her testin yürütülmesi için gereken süreyi görebilirsiniz. Ayrıca test APK'nızdaki (enstrümantasyon testleri için) yöntemlere karşılık gelen belirli test senaryolarının sonuçlarını ve test günlükleri, ekran görüntüleri ve videolar dahil ayrıntılı test sonuçlarını da görebilirsiniz. Robo testi için ayrıntılı test sonuçları, Robo testi tarafından ziyaret edilen kullanıcı arayüzü yollarını grafiksel olarak gösteren bir etkinlik haritası da içerir.

Bölümlenmiş enstrümantasyon testi sonuçları

Cihazlı test sonuçlarını yorumlamanıza yardımcı olmak için Test Lab, her testi yığın izlemeler, günlükler ve videolarla tamamlanan kendi ayrıntılı rapor sayfasına ayırır. Bu özellik, Android Orchestrator kullanıyor olsanız da olmasanız da çalışır.

Örnek test senaryosu sonuçları sayfası Test senaryosu sonuçları

Erişilebilirlik sonuçlarını yorumlama

Robo testleri, uygulamanızdaki erişilebilirlik sorunlarını tespit etmek için Android Erişilebilirlik Tarayıcısını kullanır (bir taramayı cihazınızda yerel olarak da çalıştırabileceğinizi unutmayın). Robo testinizin erişilebilirlik sonuçlarını nasıl inceleyeceğiniz ve yorumlayacağınızla ilgili talimatlar için Erişilebilirlik Tarayıcısını kullanmaya başlayın sayfasını ziyaret edin.

Uygulamanızın erişilebilirliğini nasıl geliştireceğinize ilişkin genel bilgi için Android Geliştirici Erişilebilirliği belgelerini ziyaret edin.

Performans metrikleri

Fiziksel cihazlarda yürütülen testler aynı zamanda performans ölçümlerini de döndürür:

Metrik Gerekli cihaz konfigürasyonu
Uygulama başlatma süresi API19+
CPU kullanımı API21+
Hafıza kullanımı
Ağ etkinliği
Saniye başına kare sayısı API 21+ ve SurfaceView içerir
Grafik performansı API23+

Grafik performansı ayrıntıları

Grafik performansı raporu, çeşitli temel grafik ölçümlerine ilişkin istatistikler içerir:

  • Kaçırılan Vsync: Kaçırılan Vsync olaylarının sayısının, oluşturulması 16 ms'den uzun süren kare sayısına bölümü.
  • Yüksek giriş gecikmesi: 24 ms'den uzun süren giriş etkinliklerinin sayısının, oluşturulması 16 ms'den uzun süren kare sayısına bölümü.
  • Yavaş kullanıcı arayüzü iş parçacığı: UI iş parçacığının tamamlanmasının 8 ms'den uzun sürdüğü sayının, oluşturulması 16 ms'den uzun süren kare sayısına bölümü.
  • Yavaş çizim komutları: GPU'ya çizim komutlarının gönderilmesinin 12 ms'den uzun sürme sayısı, oluşturulması 16 ms'den uzun süren karelerin sayısına bölünür.
  • Yavaş bitmap yüklemeleri: Bitmap'in GPU'ya yüklenmesinin 3,2 ms'den uzun sürdüğü sürenin, oluşturulması 16 ms'den uzun süren kare sayısına bölümü.
  • Oluşturma süresi: Test çalışmasının her karesi için oluşturma sürelerinin dağılımı. 32 milisaniyeden uzun oluşturma süreleri, kullanıcı arayüzünüzde gözle görülür bir yavaşlamaya neden olur. 700+ oluşturma süreleri donmuş kareleri gösterir. İşleme verileri dumpsys graphicsstats toplanır.

Ayrıntılı test sonuçları

Ayrıntılı test sonuçları, testi çalıştırmanızdan sonraki 90 gün boyunca kullanıma sunulur ve bir Google Cloud Storage paketinde saklanır (ancak Firebase konsolunda da görünür). Test yürütme sonuçları sayfasında Test sonuçları'nı tıkladığınızda Cloud Storage grubundaki ayrıntılı test sonuçlarını görüntüleyebilirsiniz. Ayrıntılı test sonuçları artık mevcut olmadığında, hangi testlerin başarılı veya başarısız olduğunu görmeye devam edebilirsiniz.

Ayrıntılı test sonuçlarını 90 günden daha uzun süre saklamak için bu test sonuçlarını --results-bucket gcloud komut satırı seçeneğini kullanarak sahip olduğunuz bir Cloud Storage paketine göndermeniz gerekir. Daha sonra, sonuçların Cloud Storage paketinizde ne kadar süre saklanacağını belirlemek için Yaş ayarını belirleyebilirsiniz. Yaş ayarının nasıl değiştirileceği hakkında bilgi için Yaşam Döngüsü koşullarına bakın.