Mulai pengujian untuk Android dengan Firebase Test Lab

Firebase Test Lab memungkinkan Anda menguji aplikasi di berbagai perangkat dan konfigurasi. Panduan Memulai ini menyediakan jalur implementasi untuk Anda ikuti, serta pengantar penawaran Android Test Lab.

Untuk informasi tentang kuota Uji Lab dan rencana harga, lihat Penggunaan, Kuota, dan Harga .

Konsep kunci

Ketika Anda menjalankan tes atau satu set kasus uji terhadap perangkat dan konfigurasi yang dipilih, Test Lab menjalankan uji terhadap aplikasi Anda dalam batch, kemudian menampilkan hasilnya sebagai matriks tes.

Perangkat × Eksekusi Uji = Matriks Uji

Perangkat

Perangkat fisik atau virtual (khusus Android) tempat Anda menjalankan pengujian, seperti ponsel, tablet, atau perangkat wearable. Perangkat dalam matriks uji diidentifikasi berdasarkan model perangkat, versi OS, orientasi layar, dan lokal (juga dikenal sebagai setelan geografi dan bahasa).

Tes, eksekusi tes

Tes (atau satu set kasus uji) yang akan dijalankan pada perangkat. Anda dapat menjalankan satu pengujian per perangkat, atau secara opsional melakukan shard pengujian dan menjalankan kasus pengujiannya pada perangkat yang berbeda.

matriks uji

Berisi status dan hasil pengujian untuk eksekusi pengujian Anda. Jika ada eksekusi tes dalam matriks gagal, seluruh matriks gagal.

Langkah 1: Siapkan pengujian Anda untuk meng-upload ke Uji Lab

Jenis tes yang tersedia

Anda dapat menjalankan pengujian berikut dengan Test Lab. Perhatikan bahwa semua jenis pengujian dibatasi untuk berjalan selama 45 menit pada perangkat fisik dan 60 menit pada perangkat virtual. Pengecualian yang tidak tertangkap akan menyebabkan kegagalan pengujian.

• Instrumentasi uji atau tes unit diinstrumentasi: Sebuah tes yang sudah Anda tulis menggunakan Espresso atau UI Automator 2,0 kerangka. Dengan tes ini, Anda dapat membuat pernyataan eksplisit tentang keadaan aplikasi Anda untuk memverifikasi benar fungsi menggunakan AndroidJUnitRunnerAPIs .

  • Kunjungi Run tes instrumentasi untuk petunjuk tentang bagaimana mempersiapkan pengujian Anda untuk berjalan dalam Uji Lab.

  • Mengacu pada dokumentasi Android Developers untuk petunjuk tentang cara untuk membangun sebuah tes instrumentasi.

• Tes Robo: Sebuah tes otomatis yang menganalisis UI aplikasi Anda dan kemudian mengeksplorasi itu metodis dengan mensimulasikan kegiatan pengguna, tanpa anda harus menulis kode apapun. Kunjungan Tentang Robo tes untuk informasi lebih lanjut.

• Game loop test: Tes yang menggunakan "demo mode" untuk tindakan pemain simulasi di game aplikasi. Ini adalah cara yang cepat dan skalabel untuk memverifikasi bahwa game Anda berperforma baik bagi pengguna. Saat Anda memilih untuk menjalankan pengujian Game Loop, Anda dapat:

  • Tulis tes asli untuk mesin game Anda

  • Hindari menulis kode yang sama untuk UI yang berbeda atau kerangka pengujian

  • Opsional membuat beberapa loop untuk berjalan dalam pelaksanaan tes tunggal (kunjungan Tentang Permainan loop tes untuk mempelajari lebih lanjut). Anda juga dapat mengatur loop dengan menggunakan label sehingga Anda dapat melacaknya dan menjalankan ulang loop tertentu.

  Lihat Lakukan uji Permainan loop untuk petunjuk tentang menjalankan tes ini dengan Uji Lab.

Alat untuk menjalankan pengujian Anda

Anda dapat memilih alat berikut untuk menjalankan pengujian Anda dengan:

• Direkomendasikan untuk pengguna pertama kali: The Firebase konsol memungkinkan Anda meng-upload aplikasi dan memulai pengujian dari browser web Anda. Lihat Uji dengan konsol Firebase untuk petunjuk tentang menjalankan tes menggunakan alat ini.

• Integrasi Android Studio memungkinkan Anda menguji aplikasi Anda tanpa meninggalkan lingkungan pengembangan Anda. Lihat Uji dengan Android Studio untuk petunjuk tentang menjalankan tes menggunakan alat ini.

• The baris perintah gcloud antarmuka memungkinkan Anda untuk menjalankan tes dari baris perintah secara interaktif, dan juga sangat cocok untuk scripting sebagai bagian dari membangun otomatis dan proses pengujian. Lihat Uji dengan CLI gcloud untuk petunjuk tentang menjalankan tes menggunakan alat ini.

Anda juga dapat menguji aplikasi secara gratis dengan Test Lab saat mengunggah dan memublikasikan file APK aplikasi ke Play Store menggunakan saluran alfa atau beta. Untuk informasi lebih lanjut, lihat Gunakan pra-peluncuran laporan untuk mengidentifikasi masalah dan tes Robo .

Langkah 2: Pilih pengujian perangkat Anda

Test Lab mendukung pengujian pada beberapa merek dan model perangkat Android yang terpasang dan berjalan di pusat data Google. Pengujian pada perangkat di Test Lab membantu Anda mendeteksi masalah yang mungkin tidak terjadi saat menguji aplikasi Anda menggunakan emulator di Android Studio. Untuk mempelajari lebih lanjut, lihat Perangkat yang tersedia.

Langkah 3: hasil tes Ulasan

Terlepas dari cara Anda memulai pengujian, semua hasil pengujian Anda dikelola oleh Test Lab dan dapat dilihat secara online.

Ringkasan hasil pengujian secara otomatis disimpan dan dapat dilihat di konsol Firebase. Ini berisi data yang paling relevan untuk pengujian Anda, termasuk video khusus kasus pengujian, tangkapan layar, jumlah pengujian yang lulus, gagal, atau mendapatkan hasil yang tidak stabil, dan banyak lagi.

Hasil tes mentah mengandung uji log dan rincian kegagalan aplikasi, dan secara otomatis disimpan dalam ember Google Cloud. Jika Anda menentukan ember, Anda bertanggung jawab atas biaya penyimpanan. Jika Anda tidak menentukan bucket, Test Lab akan membuatnya untuk Anda secara gratis.

Untuk lebih jelasnya, lihat Menganalisis Firebase Uji Lab Hasil.

Ketika Anda memulai tes dari Android Studio , Anda juga dapat meninjau hasil tes dari dalam lingkungan pengembangan Anda.

Pembersihan perangkat

Google menangani keamanan data aplikasi Anda dengan sangat serius. Kami mengikuti praktik terbaik standar industri untuk menghapus data aplikasi dan menyetel ulang pengaturan sistem untuk perangkat fisik setelah setiap pengujian dijalankan untuk memastikan perangkat tersebut siap menjalankan pengujian baru. Untuk perangkat yang dapat kami flash dengan image pemulihan kustom, kami melangkah lebih jauh dengan mem-flash perangkat ini di antara pengujian.

Untuk perangkat virtual yang digunakan oleh Test Lab, instans perangkat dihapus setelah digunakan sehingga setiap pengujian yang dijalankan menggunakan instans perangkat virtual baru.

Lab Uji dan layanan Google Play

Perangkat Test Lab biasanya berjalan pada versi terbaru SDK layanan Google Play, tetapi beberapa mungkin memerlukan beberapa hari untuk memperbarui setelah versi baru SDK dirilis. Perhatikan bahwa Anda mungkin mengalami masalah kompatibilitas dengan beberapa perangkat.

Mengizinkan perangkat uji mengakses server backend pribadi

Beberapa aplikasi seluler perlu berkomunikasi dengan layanan backend pribadi agar berfungsi dengan benar selama pengujian. Jika server backend Anda dilindungi oleh aturan firewall, Anda dapat memungkinkan akses untuk perangkat fisik dan virtual Uji Lab dengan menggunakan blok alamat IP di bawah ini untuk rute terbuka melalui firewall Anda.

Iklan seluler

Test Lab menyediakan infrastruktur skalabel yang mengotomatiskan pengujian aplikasi, dan sayangnya, kemampuan ini dapat disalahgunakan oleh aplikasi jahat yang dirancang untuk menghasilkan pendapatan iklan palsu.

Untuk mengurangi masalah ini:

• Jika Anda menggunakan atau bekerja sama dengan penyedia iklan digital pihak ketiga (misalnya, jaringan iklan atau platform sisi permintaan), Anda disarankan untuk menggunakan iklan percobaan daripada iklan nyata selama pengembangan dan pengujian aplikasi.

• Jika Anda harus menggunakan iklan nyata dalam pengujian Anda, memberitahukan penyedia iklan digital Anda bekerja dengan untuk menyaring pendapatan dan semua yang sesuai lalu lintas yang dihasilkan dari Uji Lab dengan menggunakan blok alamat IP di bawah ini . Anda tidak perlu memberi tahu penyedia iklan milik Google; Test Lab menanganinya untuk Anda.

Alamat IP yang digunakan oleh perangkat Test Lab

Semua lalu lintas jaringan yang dihasilkan oleh perangkat Uji Lab berasal dari berikut blok alamat IP . Catatan bahwa Anda juga dapat mengakses daftar ini dengan menggunakan gcloud beta firebase test ip-blocks list perintah di CLI gcloud. Daftar ini diperbarui secara berkala (rata-rata setahun sekali).