Ikuti semua informasi yang diumumkan di Firebase Summit, dan pelajari bagaimana Firebase dapat membantu Anda mempercepat pengembangan aplikasi dan menjalankan aplikasi dengan percaya diri. Pelajari Lebih Lanjut

Analisis Hasil Lab Pengujian Firebase

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Ada beberapa cara menggunakan Firebase Test Lab untuk menjalankan pengujian di aplikasi Android Anda, termasuk antarmuka baris perintah , Android Studio , UI Test Lab di Firebase console, dan Testing API . Bagaimanapun Anda memilih untuk memulai pengujian, hasilnya disimpan dalam proyek Firebase yang Anda tentukan. Anda dapat menjelajahi hasil menggunakan ToolResults API selain salah satu alat di atas. Halaman ini menjelaskan cara meninjau dan menganalisis hasil pengujian ini.

Konsep kunci

Untuk melihat hasil dari semua pengujian Anda sebelumnya, pilih Test Lab di panel navigasi kiri proyek Anda di Firebase console. Halaman ini menampilkan semua pengujian yang dijalankan dari aplikasi yang telah Anda uji dengan proyek Anda menggunakan Test Lab.

Untuk meninjau hasil tes, Anda harus terlebih dahulu memahami tiga konsep:

Saat Anda menjalankan pengujian atau serangkaian kasus pengujian terhadap perangkat dan konfigurasi yang Anda pilih, Test Lab menjalankan pengujian terhadap aplikasi Anda dalam batch, lalu menampilkan hasilnya sebagai matriks pengujian .

Perangkat × Eksekusi Uji = Matriks Uji

Perangkat
Perangkat fisik atau virtual (khusus Android) tempat Anda menjalankan pengujian, seperti ponsel, tablet, atau perangkat wearable. Perangkat dalam matriks uji diidentifikasi berdasarkan model perangkat, versi OS, orientasi layar, dan lokal (juga dikenal sebagai setelan geografi dan bahasa).
Tes, eksekusi tes
Tes (atau satu set kasus uji) yang akan dijalankan pada perangkat. Anda dapat menjalankan satu pengujian per perangkat, atau secara opsional melakukan shard pengujian dan menjalankan kasus pengujiannya pada perangkat yang berbeda.
matriks uji
Berisi status dan hasil pengujian untuk eksekusi pengujian Anda. Jika ada eksekusi tes dalam matriks gagal, seluruh matriks gagal.

Bagian berikut menjelaskan cara menavigasi hasil pengujian.

Menafsirkan hasil riwayat tes

Saat Anda menavigasi ke hasil pengujian Anda dengan memilih Test Lab , Anda akan melihat hasil pengujian yang telah Anda jalankan sejauh ini.

Riwayat pengujian dikelompokkan berdasarkan aplikasi. Hanya lima matriks pengujian terbaru yang ditampilkan untuk setiap aplikasi; jika lebih banyak tersedia, Anda dapat mengklik tautan Semua Matriks di bagian bawah daftar pengujian aplikasi untuk melihat daftar lengkap aplikasi tersebut.

Menafsirkan hasil matriks uji

Saat memulai pengujian melalui UI Test Lab , Anda akan diarahkan ke laman tempat Anda dapat melihat matriks pengujian dan mengeklik eksekusi pengujian tertentu untuk melihat hasil pengujian. Android Studio dan perintah gcloud juga menyediakan URL untuk halaman hasil matriks pengujian.

Dalam matriks pengujian biasa, Anda mungkin menjalankan pengujian di selusin perangkat yang berbeda. Setiap eksekusi tes dapat memiliki hasil yang berbeda. Hasil yang mungkin untuk setiap eksekusi tes dalam matriks tes meliputi:

  • LulusTes Lulus : Tidak ada kegagalan yang ditemukan.
  • GagalTes Gagal : Setidaknya satu kegagalan ditemukan.
  • tidak meyakinkanTes Lulus : Hasil tes tidak meyakinkan, mungkin karena kesalahan Test Lab.
  • DilewatiTes Lulus : Nilai dimensi yang dipilih untuk beberapa eksekusi pengujian dalam matriks tidak kompatibel. Ini terjadi saat perangkat yang Anda pilih tidak kompatibel dengan satu atau beberapa level Android API yang Anda pilih.

Untuk meninjau hasil pengujian gabungan untuk semua matriks pengujian untuk aplikasi tertentu dalam proyek Firebase Anda, klik nama aplikasi, seperti yang ditunjukkan pada contoh berikut:

Contoh halaman hasil matriks pengujian dengan hanya empat eksekusi pengujianHasil Matriks Uji

Ini membawa Anda ke daftar matriks pengujian untuk aplikasi Anda, tempat Anda dapat mengklik nama matriks pengujian apa pun untuk melihat hasil matriks pengujian, dan tempat Anda dapat mengklik nama aplikasi (ditunjukkan dalam kotak merah di bawah) untuk melihat daftar matriks uji untuk aplikasi lain yang terkait dengan proyek Firebase Anda.

Contoh halaman daftar matriks uji Daftar Matriks Uji

Matriks uji dapat lulus, gagal, atau tidak meyakinkan. Matriks pengujian ditampilkan sebagai gagal atau tidak meyakinkan jika ada eksekusi pengujian dalam matriks tersebut yang gagal atau tidak meyakinkan.

Menafsirkan hasil tes Robo

Jika Anda menjalankan pengujian dengan Robo, hasil Anda mencakup video dan tangkapan layar Robo yang merayapi UI Anda, selain metrik pengujian biasa. Video dan tangkapan layar tersebut mencakup indikasi visual tindakan yang dilakukan Robo selama perayapan, mirip dengan fitur 'Tampilkan sentuhan' di Android. Anda dapat menggunakan indikasi untuk membantu Anda mengikuti kemajuan Robo, dan mereproduksi bug yang mungkin ditemukan.

Contoh video hasil tes Robo

Hasil tes Robo

Menafsirkan hasil dari satu eksekusi tes

Dari halaman hasil matriks pengujian, klik salah satu eksekusi pengujian untuk melihat hasil dari eksekusi pengujian tersebut.

Contoh halaman hasil eksekusi pengujianHasil eksekusi tes

Pada halaman ini, Anda dapat melihat waktu yang dibutuhkan untuk setiap eksekusi pengujian. Anda juga dapat melihat hasil untuk kasus pengujian tertentu yang sesuai dengan metode di APK pengujian Anda (untuk pengujian instrumentasi) dan hasil pengujian mendetail, termasuk log pengujian, tangkapan layar, dan video. Untuk pengujian Robo , hasil pengujian mendetail juga menyertakan peta aktivitas yang secara grafis menunjukkan jalur UI yang dikunjungi oleh pengujian Robo.

Hasil uji instrumentasi yang dipartisi

Untuk membantu Anda menginterpretasikan hasil pengujian berinstrumen, Test Lab memisahkan setiap pengujian ke dalam halaman laporan mendetailnya sendiri, lengkap dengan pelacakan tumpukan, log, dan video. Fitur ini berfungsi baik Anda menggunakan Android Orchestrator atau tidak.

Contoh halaman hasil testcase Hasil testcase

Menafsirkan hasil aksesibilitas

Tes Robo menggunakan Pemindai Aksesibilitas Android untuk mendeteksi masalah aksesibilitas di aplikasi Anda (perhatikan bahwa Anda juga dapat menjalankan pemindaian secara lokal di perangkat Anda). Untuk petunjuk tentang cara meninjau dan menafsirkan hasil aksesibilitas pengujian Robo Anda, kunjungi Memulai dengan Accessibility Scanner .

Untuk informasi umum tentang cara meningkatkan aksesibilitas aplikasi Anda, kunjungi dokumentasi Aksesibilitas Pengembang Android .

Metrik kinerja

Pengujian yang dijalankan pada perangkat fisik juga menampilkan metrik kinerja:

Metrik Konfigurasi perangkat yang diperlukan
Waktu mulai aplikasi API 19+
penggunaan CPU API 21+
Penggunaan memori
Aktivitas jaringan
Bingkai per detik API 21+ dan termasuk SurfaceView
kinerja grafis API 23+

Detail kinerja grafis

Laporan kinerja grafis berisi statistik pada beberapa metrik grafis utama:

  • Vsync yang terlewat: Jumlah peristiwa Vsync yang terlewat, dibagi dengan jumlah bingkai yang membutuhkan waktu lebih dari 16 md untuk dirender.
  • Latensi input tinggi: Jumlah peristiwa input yang memerlukan waktu lebih dari 24 md, dibagi dengan jumlah bingkai yang memerlukan waktu lebih dari 16 md untuk dirender.
  • Utas UI lambat: Frekuensi penyelesaian utas UI lebih dari 8 md, dibagi dengan jumlah bingkai yang membutuhkan waktu lebih dari 16 md untuk dirender.
  • Perintah menggambar lambat: Frekuensi pengiriman perintah menggambar ke GPU membutuhkan waktu lebih dari 12 md, dibagi dengan jumlah bingkai yang memerlukan waktu lebih dari 16 md untuk dirender.
  • Pengunggahan bitmap lambat: Frekuensi bitmap yang membutuhkan waktu lebih dari 3,2 mdtk untuk diunggah ke GPU dibagi dengan jumlah bingkai yang memerlukan waktu lebih dari 16 mdtk untuk dirender.
  • Waktu render: Distribusi waktu render untuk setiap frame uji coba. Waktu render yang lebih besar dari 32 milidetik menyebabkan pelambatan yang nyata pada UI Anda. Waktu render 700+ menunjukkan bingkai beku. Render data dikumpulkan dari dumpsys graphicsstats .

Hasil tes terperinci

Hasil pengujian mendetail tersedia selama 90 hari setelah Anda menjalankan pengujian dan disimpan di keranjang Google Cloud Storage (tetapi juga terlihat di Firebase console). Anda dapat melihat hasil pengujian mendetail di bucket Cloud Storage saat mengklik Hasil pengujian di halaman hasil eksekusi pengujian. Saat hasil tes terperinci tidak lagi tersedia, Anda masih dapat melihat tes mana yang lulus atau gagal.

Untuk mempertahankan hasil pengujian yang mendetail selama lebih dari 90 hari, Anda harus mengirim hasil pengujian ini ke bucket Cloud Storage yang Anda miliki menggunakan opsi baris perintah --results-bucket gcloud . Anda kemudian dapat menyetel setelan Usia untuk menentukan berapa lama hasil disimpan di keranjang Cloud Storage Anda. Lihat ketentuan Siklus Hidup untuk informasi tentang cara mengubah pengaturan Usia .