Ikuti semua informasi yang diumumkan di Firebase Summit, dan pelajari bagaimana Firebase dapat membantu Anda mempercepat pengembangan aplikasi dan menjalankan aplikasi dengan percaya diri. Pelajari Lebih Lanjut

Analisis Hasil Lab Pengujian Firebase

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Ada beberapa cara menggunakan Firebase Test Lab untuk menjalankan pengujian di aplikasi Android Anda, termasuk antarmuka baris perintah , Android Studio , UI Test Lab di Firebase console, dan Testing API . Bagaimanapun Anda memilih untuk memulai pengujian, hasilnya disimpan dalam proyek Firebase yang Anda tentukan. Anda dapat menjelajahi hasilnya menggunakan ToolResults API selain salah satu alat di atas. Halaman ini menjelaskan cara meninjau dan menganalisis hasil tes ini.

Konsep kunci

Untuk melihat hasil dari semua pengujian Anda sebelumnya, pilih Test Lab di panel navigasi kiri proyek Anda di Firebase console. Halaman ini menampilkan semua uji coba dari aplikasi yang telah Anda uji dengan proyek Anda menggunakan Test Lab.

Untuk meninjau hasil tes, pertama-tama Anda harus memahami tiga konsep:

Saat Anda menjalankan pengujian atau serangkaian kasus pengujian terhadap perangkat dan konfigurasi yang telah Anda pilih, Test Lab menjalankan pengujian terhadap aplikasi Anda secara berkelompok, lalu menampilkan hasilnya sebagai matriks pengujian .

Perangkat × Eksekusi Uji = Matriks Uji

Perangkat
Perangkat fisik atau virtual (khusus Android) tempat Anda menjalankan pengujian, seperti ponsel, tablet, atau perangkat wearable. Perangkat dalam matriks pengujian diidentifikasi berdasarkan model perangkat, versi OS, orientasi layar, dan lokal (juga dikenal sebagai pengaturan geografi dan bahasa).
Tes, eksekusi tes
Tes (atau serangkaian kasus uji) untuk dijalankan di perangkat. Anda dapat menjalankan satu pengujian per perangkat, atau secara opsional memisahkan pengujian dan menjalankan kasus pengujiannya di perangkat yang berbeda.
Matriks uji
Berisi status dan hasil pengujian untuk eksekusi pengujian Anda. Jika ada eksekusi pengujian dalam matriks yang gagal, seluruh matriks gagal.

Bagian berikut menjelaskan cara menavigasi hasil pengujian.

Menafsirkan hasil riwayat pengujian

Saat Anda membuka hasil pengujian dengan memilih Test Lab , Anda akan melihat hasil pengujian yang telah Anda jalankan sejauh ini.

Histori pengujian dikelompokkan berdasarkan aplikasi. Hanya lima matriks pengujian terbaru yang ditampilkan untuk setiap aplikasi; jika tersedia lebih banyak, Anda dapat mengeklik tautan Semua Matriks di bagian bawah daftar pengujian aplikasi untuk melihat daftar lengkap aplikasi tersebut.

Menafsirkan hasil matriks uji

Saat memulai pengujian melalui UI Test Lab , Anda akan dialihkan ke halaman tempat Anda dapat melihat matriks pengujian dan mengeklik eksekusi pengujian tertentu untuk melihat hasil pengujian. Android Studio dan perintah gcloud juga menyediakan URL untuk halaman hasil matriks pengujian.

Dalam matriks uji tipikal, Anda dapat menjalankan pengujian di selusin perangkat yang berbeda. Setiap pelaksanaan tes dapat memiliki hasil yang berbeda. Hasil yang mungkin untuk eksekusi pengujian apa pun dalam matriks pengujian adalah sebagai berikut:

  • LulusTes Lulus : Tidak ada kegagalan yang ditemui.
  • GagalTes Gagal : Setidaknya satu kegagalan ditemui.
  • Tidak meyakinkanTes Lulus : Hasil tes tidak meyakinkan, mungkin karena kesalahan Test Lab.
  • DilewatiTes Lulus : Nilai dimensi yang dipilih untuk beberapa eksekusi uji dalam matriks tidak kompatibel. Hal ini terjadi jika perangkat yang Anda pilih tidak kompatibel dengan satu atau beberapa level API Android yang Anda pilih.

Untuk meninjau hasil pengujian gabungan untuk semua matriks pengujian untuk aplikasi tertentu di project Firebase Anda, klik nama aplikasi, seperti yang ditunjukkan pada contoh berikut:

Contoh halaman hasil matriks uji dengan hanya empat eksekusi ujiHasil Uji Matriks

Ini membawa Anda ke daftar matriks pengujian untuk aplikasi Anda, tempat Anda dapat mengeklik nama matriks pengujian apa pun untuk melihat hasil matriks pengujian, dan tempat Anda dapat mengeklik nama aplikasi (ditampilkan dalam kotak merah di bawah) untuk melihat daftar matriks pengujian untuk aplikasi lain yang terkait dengan proyek Firebase Anda.

Contoh halaman daftar matriks uji Daftar Matriks Uji

Matriks uji dapat lulus, gagal, atau tidak meyakinkan. Matriks pengujian ditampilkan sebagai gagal atau tidak meyakinkan jika ada eksekusi pengujian dalam matriks tersebut yang gagal atau tidak meyakinkan.

Menafsirkan hasil tes Robo

Jika Anda menjalankan pengujian dengan Robo, hasilnya mencakup video dan tangkapan layar Robo yang merayapi UI Anda, selain metrik pengujian biasa. Video dan tangkapan layar tersebut mencakup indikasi visual dari tindakan yang dilakukan Robo selama perayapan, mirip dengan fitur 'Tampilkan sentuhan' di Android. Anda dapat menggunakan indikasi untuk membantu Anda mengikuti kemajuan Robo, dan mereproduksi bug apa pun yang mungkin terungkap.

Contoh video hasil tes Robo

Hasil tes Robo

Menafsirkan hasil dari eksekusi pengujian tunggal

Dari halaman hasil matriks uji, klik salah satu eksekusi uji untuk melihat hasil dari eksekusi uji spesifik tersebut.

Contoh halaman hasil eksekusi pengujianHasil eksekusi uji

Di halaman ini, Anda dapat melihat waktu yang diperlukan untuk setiap eksekusi pengujian. Anda juga dapat melihat hasil untuk kasus pengujian tertentu yang sesuai dengan metode di APK pengujian Anda (untuk pengujian instrumentasi) dan hasil pengujian mendetail, termasuk log pengujian, tangkapan layar, dan video. Untuk pengujian Robo , hasil pengujian mendetail juga menyertakan peta aktivitas yang secara grafis menunjukkan jalur UI yang dikunjungi oleh pengujian Robo.

Hasil pengujian instrumentasi yang dipartisi

Untuk membantu Anda menginterpretasikan hasil pengujian berinstrumen, Test Lab memisahkan setiap pengujian ke dalam halaman laporan mendetailnya sendiri, lengkap dengan pelacakan tumpukan, log, dan video. Fitur ini berfungsi baik Anda menggunakan Android Orchestrator atau tidak.

Contoh halaman hasil testcase Hasil uji kasus

Menafsirkan hasil aksesibilitas

Pengujian Robo menggunakan Pemindai Aksesibilitas Android untuk mendeteksi masalah aksesibilitas di aplikasi Anda (perhatikan bahwa Anda juga dapat menjalankan pemindaian secara lokal di perangkat Anda). Untuk petunjuk tentang cara meninjau dan menginterpretasikan hasil aksesibilitas pengujian Robo Anda, kunjungi Memulai Pemindai Aksesibilitas .

Untuk informasi umum tentang cara meningkatkan aksesibilitas aplikasi Anda, kunjungi dokumentasi Aksesibilitas Pengembang Android .

Metrik kinerja

Pengujian yang dijalankan pada perangkat fisik juga menampilkan metrik performa:

Metrik Konfigurasi perangkat yang diperlukan
Waktu startup aplikasi API 19+
penggunaan CPU API 21+
penggunaan memori
Aktivitas jaringan
Bingkai per detik API 21+ dan menyertakan SurfaceView
Performa grafis API 23+

Detail kinerja grafis

Laporan kinerja grafik berisi statistik pada beberapa metrik grafik utama:

  • Vsync yang terlewatkan: Jumlah peristiwa Vsync yang terlewatkan, dibagi dengan jumlah bingkai yang membutuhkan waktu lebih dari 16 md untuk dirender.
  • Latensi input tinggi: Jumlah peristiwa input yang memerlukan waktu lebih dari 24 md, dibagi dengan jumlah bingkai yang membutuhkan waktu lebih dari 16 md untuk dirender.
  • Utas UI lambat: Frekuensi utas UI membutuhkan waktu lebih dari 8 md untuk diselesaikan, dibagi dengan jumlah bingkai yang membutuhkan waktu lebih dari 16 md untuk dirender.
  • Perintah gambar lambat: Frekuensi pengiriman perintah gambar ke GPU yang memerlukan waktu lebih dari 12 md, dibagi dengan jumlah bingkai yang membutuhkan waktu lebih dari 16 md untuk dirender.
  • Unggahan bitmap lambat: Frekuensi bitmap membutuhkan waktu lebih dari 3,2 md untuk diunggah ke GPU dibagi dengan jumlah bingkai yang membutuhkan waktu lebih dari 16 md untuk dirender.
  • Waktu render: Distribusi waktu render untuk setiap frame dari uji coba. Waktu render lebih besar dari 32 milidetik menyebabkan pelambatan UI Anda yang terlihat. Waktu render 700+ menunjukkan bingkai beku. Data render dikumpulkan dari dumpsys graphicsstats .

Hasil tes terperinci

Hasil pengujian mendetail tersedia selama 90 hari setelah Anda menjalankan pengujian dan disimpan di keranjang Google Cloud Storage (tetapi juga dapat dilihat di konsol Firebase). Anda dapat melihat hasil pengujian mendetail di bucket Cloud Storage saat mengklik Hasil pengujian di halaman hasil eksekusi pengujian. Saat hasil pengujian mendetail tidak lagi tersedia, Anda masih dapat melihat pengujian mana yang lulus atau gagal.

Untuk menyimpan hasil pengujian mendetail selama lebih dari 90 hari, Anda harus mengirimkan hasil pengujian ini ke bucket Cloud Storage yang Anda miliki menggunakan opsi baris perintah --results-bucket gcloud . Anda kemudian dapat menyetel setelan Usia untuk menentukan berapa lama hasil disimpan di keranjang Cloud Storage Anda. Lihat Kondisi siklus hidup untuk informasi tentang cara mengubah pengaturan Usia .