Buka konsol

Menganalisis Hasil Firebase Test Lab

Ada beberapa cara penggunaan Firebase Test Lab untuk menjalankan pengujian di aplikasi Android Anda, termasuk antarmuka command-line, Android Studio, dan UI Test Lab di Firebase console. Apa pun cara yang Anda pilih untuk memulai pengujian, hasilnya akan disimpan di project Firebase yang Anda tetapkan. Halaman ini menjelaskan cara meninjau dan menganalisis hasil pengujian tersebut.

Konsep utama

Untuk melihat hasil dari semua pengujian sebelumnya, pilih Test Lab di panel navigasi kiri pada project Anda di Firebase console. Halaman ini menampilkan semua pengujian yang dijalankan dari aplikasi yang telah diuji dengan project Anda menggunakan Test Lab.

Untuk meninjau hasil pengujian, Anda harus memahami 3 konsep terlebih dahulu:

Dimensi Uji × Eksekusi Uji = Matriks Uji

  • Dimensi Uji: atribut perangkat untuk menguji aplikasi Anda, meliputi model perangkat, versi OS, lokal, dan orientasi layar.

  • Eksekusi Uji: pengujian individual, masing-masing dengan kombinasi unik dari dimensi uji yang telah Anda pilih untuk diuji.

  • Matriks Uji: hasil dari eksekusi uji pada dimensi uji yang dipilih. Jika ada eksekusi uji yang gagal dalam matriks, Test Lab menandai seluruh matriks sebagai gagal.

Bagian berikut menjelaskan cara melihat hasil pengujian.

Menafsirkan hasil histori pengujian

Saat Anda ingin melihat hasil pengujian dengan memilih Test Lab, Anda akan melihat hasil pengujian yang telah dijalankan sejauh ini.

Hasil pengujian dikelompokkan menurut aplikasi. Hanya 5 matriks uji terbaru yang ditampilkan untuk setiap aplikasi; Jika ada lebih banyak, Anda dapat mengklik link Semua Matriks di bagian bawah daftar pengujian aplikasi guna melihat daftar selengkapnya untuk aplikasi tersebut.

Menafsirkan hasil matriks uji

Saat memulai pengujian melalui UI Test Lab, Anda akan dialihkan ke halaman tempat Anda dapat melihat matriks uji, lalu klik eksekusi uji tertentu untuk melihat hasil pengujian. Android Studio dan perintah gcloud juga menyediakan URL untuk halaman hasil matriks uji.

Pada matriks uji biasa, Anda bisa menjalankan pengujian pada puluhan perangkat yang berbeda. Masing-masing eksekusi uji dapat berhasil atau gagal. Kemungkinan hasil untuk eksekusi uji dalam matriks uji adalah sebagai berikut:

  • Lulus Pengujian Lulus: Tidak ada kegagalan.
  • Gagal Pengujian Gagal: Minimal ada satu kegagalan.
  • Diragukan Pengujian Lulus: Hasil pengujian tidak meyakinkan, kemungkinan karena terjadi error pada Test Lab.
  • Dilewati Pengujian Lulus: Nilai dimensi yang dipilih untuk beberapa eksekusi uji dalam matriks tidak sesuai. Hal ini terjadi jika perangkat yang dipilih tidak kompatibel dengan satu atau beberapa level API Android yang Anda pilih.

Guna meninjau hasil pengujian gabungan untuk semua matriks uji untuk aplikasi tertentu dalam project Firebase Anda, klik nama aplikasi tersebut, seperti yang ditunjukkan dalam contoh berikut:

Contoh halaman hasil matriks uji dengan hanya empat eksekusi ujiHasil Matriks Uji

Halaman ini akan mengarahkan Anda ke daftar matriks uji untuk aplikasi yang digunakan, dan Anda dapat mengklik nama matriks uji mana pun untuk melihat hasilnya. Anda juga dapat mengklik nama aplikasi (ditunjukkan dalam kotak merah di bawah ini) guna melihat daftar matriks uji untuk aplikasi lain yang terkait dengan project Firebase Anda.

Contoh halaman daftar matriks ujiDaftar Matriks Uji

Suatu matriks uji bisa berhasil, gagal, atau diragukan. Matriks uji akan dianggap gagal atau diragukan jika ada eksekusi uji dalam matriks tersebut yang gagal atau diragukan.

Menafsirkan hasil uji Robo

Jika Anda menjalankan pengujian dengan Robo, selain metrik uji biasa, hasil uji akan menyertakan video dan screenshot Robo yang melakukan crawling terhadap UI Anda. Video dan screenshot tersebut mencakup indikasi visual untuk tindakan yang dijalankan oleh Robo saat melakukan crawling, serupa dengan fitur 'Tampilkan sentuhan' di Android. Anda dapat menggunakan indikasi ini sebagai bantuan untuk memantau kemajuan Robo, dan mereproduksi setiap bug yang mungkin ditemukan oleh Robo.

Contoh video hasil uji Robo

Hasil uji Robo

Menafsirkan hasil dari eksekusi pengujian tunggal

Dari halaman hasil matriks uji, klik salah satu eksekusi uji untuk melihat hasilnya.

Contoh halaman hasil eksekusi ujiHasil eksekusi uji

Di halaman ini, Anda dapat melihat waktu yang diperlukan untuk setiap eksekusi uji. Anda juga dapat melihat hasil untuk kasus pengujian tertentu yang berhubungan dengan metode dalam APK pengujian Anda (untuk uji instrumentasi) dan hasil uji mendetail, termasuk log, screenshot, dan video pengujian. Untuk uji Robo, hasil uji mendetail juga mencakup peta aktivitas yang secara grafis menunjukkan lokasi UI yang dikunjungi uji Robo.

Hasil uji instrumentasi yang dipartisi

Untuk membantu Anda menafsirkan hasil pengujian berinstrumen, Test Lab memisahkan setiap pengujian ke dalam halaman laporan mendetail tersendiri, lengkap dengan pelacakan tumpukan, log, dan video. Fitur ini berfungsi saat Anda menggunakan Android Orchestrator atau pun tidak.

Contoh halaman hasil kasus ujiHasil kasus uji

Metrik performa

Pengujian pada perangkat fisik juga menampilkan metrik performa:

MetrikKonfigurasi perangkat yang diperlukan
Waktu mulai aplikasiAPI 19+
Penggunaan CPUAPI 21+
Penggunaan memori
Aktivitas jaringan
Frame per detikAPI 21+ dan mencakup SurfaceView
Performa grafisAPI 23+

Detail performa grafis

Laporan performa grafis berisi statistik pada beberapa metrik grafis utama:

  • Vsync yang Terlewat: Jumlah peristiwa Vsync yang terlewat, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Latensi input tinggi: Jumlah peristiwa input yang memerlukan waktu lebih dari 24 milidetik, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • UI thread lambat: Frekuensi UI thread memerlukan waktu lebih dari 8 milidetik untuk diselesaikan, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Perintah draw lambat: Frekuensi yang mengirimkan perintah draw ke GPU memerlukan waktu lebih dari 12 milidetik, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Upload bitmap lambat: Frekuensi bitmap yang memerlukan waktu lebih dari 3,2 milidetik untuk diupload ke GPU, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Waktu render: Distribusi waktu render untuk setiap frame selama pengujian dijalankan. Waktu render yang lebih lama dari 32 milidetik menyebabkan pelambatan UI Anda yang jelas. Lebih dari 700 waktu render menunjukkan periode frozen. Data render dikumpulkan dari dumpsys graphicsstats.

Hasil uji mendetail

Hasil uji mendetail tersedia selama 90 hari setelah Anda menjalankan pengujian, dan disimpan di bucket Google Cloud Storage (GCS) (tetapi juga dapat dilihat di Firebase console). Anda dapat melihat hasil uji mendetail di bucket GCS saat mengklik Lihat File Sumber di halaman hasil eksekusi uji. Jika hasil uji mendetail tidak lagi tersedia, Anda tetap dapat melihat pengujian mana saja yang lulus atau gagal.

Agar hasil uji mendetail dapat disimpan selama lebih dari 90 hari, Anda harus mengirimkan hasil pengujian ini ke bucket GCS yang Anda miliki menggunakan opsi command-line gcloud --results-bucket. Setelah itu, Anda dapat menetapkan setelan Age untuk menentukan durasi penyimpanan hasil dalam bucket GCS Anda. Lihat Kondisi siklus proses untuk mengetahui informasi tentang cara mengubah setelan Durasi.