Mulai pengujian untuk Android dengan Firebase Test Lab

Firebase Test Lab memungkinkan Anda menguji aplikasi Anda pada berbagai perangkat dan konfigurasi. Panduan Memulai ini menyediakan jalur implementasi untuk Anda ikuti, serta pengantar penawaran Android Test Lab.

Untuk informasi tentang kuota Test Lab dan paket harga, lihat Penggunaan, Kuota, dan Harga .

Konsep kunci

Saat Anda menjalankan pengujian atau sekumpulan kasus pengujian terhadap perangkat dan konfigurasi yang Anda pilih, Test Lab menjalankan pengujian terhadap aplikasi Anda dalam satu batch, lalu menampilkan hasilnya sebagai matriks pengujian .

Perangkat × Eksekusi Uji = Matriks Uji

Alat

Perangkat fisik atau virtual (khusus Android) tempat Anda menjalankan pengujian, seperti ponsel, tablet, atau perangkat yang dapat dikenakan. Perangkat dalam matriks uji diidentifikasi berdasarkan model perangkat, versi OS, orientasi layar, dan lokal (juga dikenal sebagai pengaturan geografi dan bahasa).

Uji, uji eksekusi

Tes (atau sekumpulan kasus uji) untuk dijalankan di perangkat. Anda dapat menjalankan satu pengujian per perangkat, atau secara opsional membagi pengujian dan menjalankan kasus pengujiannya di perangkat yang berbeda.

Matriks uji

Berisi status dan hasil tes untuk eksekusi tes Anda. Jika ada eksekusi uji dalam matriks yang gagal, seluruh matriks gagal.

Langkah 1 : Siapkan pengujian Anda untuk diupload ke Test Lab

Jenis pengujian yang tersedia

Anda dapat menjalankan pengujian berikut dengan Test Lab. Perhatikan bahwa semua jenis pengujian dibatasi untuk menjalankan 45 menit pada perangkat fisik dan 60 menit pada perangkat virtual. Pengecualian yang tidak tertangkap akan menyebabkan kegagalan pengujian.

• Pengujian instrumentasi atau pengujian unit berinstrumen : Pengujian yang telah Anda tulis menggunakan framework Espresso atau UI Automator 2.0 . Dengan pengujian ini, Anda bisa membuat pernyataan eksplisit tentang status aplikasi Anda untuk memverifikasi fungsionalitas yang benar menggunakan AndroidJUnitRunnerAPIs .

  • Kunjungi Jalankan pengujian instrumentasi untuk petunjuk tentang cara mempersiapkan pengujian Anda untuk dijalankan di Test Lab.

  • Lihat dokumentasi Pengembang Android untuk petunjuk tentang cara membuat pengujian instrumentasi.

• Uji Robo : Pengujian otomatis yang menganalisis UI aplikasi Anda, lalu menjelajahinya secara metodis dengan menyimulasikan aktivitas pengguna, tanpa mengharuskan Anda menulis kode apa pun. Kunjungi Tentang pengujian Robo untuk informasi lebih lanjut.

• Tes Game Loop : Tes yang menggunakan "mode demo" untuk mensimulasikan tindakan pemain di aplikasi game. Ini adalah cara cepat dan skalabel untuk memverifikasi bahwa game Anda bekerja dengan baik untuk pengguna. Saat Anda memilih untuk menjalankan tes Game Loop, Anda dapat:

  • Tulis pengujian asli untuk mesin game Anda

  • Hindari menulis kode yang sama untuk UI atau framework pengujian yang berbeda

  • Secara opsional, buat beberapa loop untuk dijalankan dalam satu eksekusi uji (kunjungi Tentang tes Game Loop untuk mempelajari lebih lanjut). Anda juga dapat mengatur loop dengan menggunakan label sehingga Anda dapat melacaknya dan menjalankan ulang loop tertentu.

  Lihat Menjalankan tes Game Loop untuk instruksi menjalankan tes ini dengan Test Lab.

Alat untuk menjalankan pengujian Anda

Anda dapat memilih alat berikut untuk menjalankan pengujian Anda dengan:

• Direkomendasikan untuk pengguna pertama kali : Firebase console memungkinkan Anda mengupload aplikasi dan memulai pengujian dari browser web Anda. Lihat Menguji dengan Firebase console untuk petunjuk tentang menjalankan pengujian menggunakan alat ini.

• Integrasi Android Studio memungkinkan Anda menguji aplikasi tanpa meninggalkan lingkungan pengembangan. Lihat Menguji dengan Android Studio untuk petunjuk tentang menjalankan pengujian menggunakan alat ini.

• Antarmuka baris perintah gcloud memungkinkan Anda menjalankan pengujian dari baris perintah secara interaktif, dan juga cocok untuk pembuatan skrip sebagai bagian dari proses pembuatan dan pengujian otomatis Anda. Lihat Menguji dengan gcloud CLI untuk petunjuk tentang menjalankan pengujian menggunakan alat ini.

Anda juga dapat menguji aplikasi Anda secara gratis dengan Test Lab saat mengupload dan memublikasikan file APK aplikasi Anda ke Play Store menggunakan saluran alfa atau beta. Untuk informasi lebih lanjut, lihat Menggunakan laporan pra-peluncuran untuk mengidentifikasi masalah dan uji Robo .

Langkah 2 : Pilih perangkat pengujian Anda

Test Lab mendukung pengujian pada beberapa merek dan model perangkat Android yang dipasang dan dijalankan di pusat data Google. Menguji perangkat di Test Lab membantu Anda mendeteksi masalah yang mungkin tidak terjadi saat menguji aplikasi Anda menggunakan emulator di Android Studio. Untuk mempelajari lebih lanjut, lihat Perangkat yang tersedia.

Langkah 3 : Tinjau hasil tes

Terlepas dari bagaimana Anda memulai pengujian, semua hasil pengujian Anda dikelola oleh Test Lab dan dapat dilihat secara online.

Ringkasan hasil tes secara otomatis disimpan dan dapat dilihat di konsol Firebase. Ini berisi data yang paling relevan untuk pengujian Anda, termasuk video khusus kasus pengujian, screenshot, jumlah pengujian yang lulus, gagal, atau mendapatkan hasil yang tidak stabil, dan banyak lagi.

Hasil pengujian mentah berisi log pengujian dan detail kegagalan aplikasi, dan secara otomatis disimpan dalam keranjang Google Cloud. Jika Anda menentukan keranjang, Anda bertanggung jawab atas biaya penyimpanan. Jika Anda tidak menentukan keranjang, Test Lab akan membuatkannya untuk Anda secara gratis.

Untuk mengetahui detail selengkapnya, lihat Menganalisis Hasil Firebase Test Lab.

Saat memulai pengujian dari Android Studio , Anda juga bisa meninjau hasil pengujian dari dalam lingkungan pengembangan Anda.

Pembersihan perangkat

Google menangani keamanan data aplikasi Anda dengan sangat serius. Kami mengikuti praktik terbaik standar industri untuk menghapus data aplikasi dan menyetel ulang setelan sistem untuk perangkat fisik setelah setiap pengujian dijalankan untuk memastikan bahwa perangkat siap menjalankan pengujian baru. Untuk perangkat yang dapat kami flash dengan citra pemulihan khusus, kami melangkah lebih jauh dengan mem-flash perangkat ini di antara pengujian yang dijalankan.

Untuk perangkat virtual yang digunakan oleh Test Lab, instance perangkat dihapus setelah digunakan sehingga setiap pengujian yang dijalankan menggunakan instance perangkat virtual baru.

Informasi tambahan

Test Lab dan layanan Google Play

Perangkat Test Lab biasanya berjalan pada versi terbaru SDK layanan Google Play, tetapi beberapa perangkat mungkin memerlukan beberapa hari untuk memperbarui setelah versi baru SDK dirilis. Perhatikan bahwa Anda mungkin mengalami masalah kompatibilitas dengan beberapa perangkat.

Test Lab dan periklanan seluler

Untuk pengembang aplikasi yang menggunakan atau bekerja dengan penyedia periklanan digital (misalnya, jaringan iklan, platform sisi permintaan) dan untuk penyedia periklanan digital:

Test Lab memberi pengembang infrastruktur pengujian aplikasi yang dapat diskalakan yang mengotomatiskan pengujian aplikasi. Sayangnya, kemampuan ini dapat disalahgunakan oleh aplikasi berbahaya yang dirancang untuk menghasilkan pendapatan iklan penipuan.

Untuk mengurangi masalah ini:

• Pengembang aplikasi harus memberi tahu penyedia periklanan digital tempat mereka bekerja untuk menyaring pendapatan dan semua lalu lintas terkait yang dihasilkan dari perangkat milik penyedia pengujian, termasuk Test Lab.

• Penyedia periklanan digital dapat memfilter pendapatan iklan dan semua lalu lintas terkait yang dihasilkan dari Test Lab dengan memfilter lalu lintas yang berasal dari blok alamat IP berikut (perhatikan bahwa Anda juga dapat mengakses daftar ini menggunakan perintah gcloud beta firebase test ip-blocks list di gcloud CLI ):