Google berkomitmen untuk mendorong terwujudnya keadilan ras bagi komunitas Kulit Hitam. Lihat caranya.

Memulai pengujian dengan gcloud CLI

Firebase Test Lab menyediakan infrastruktur berbasis cloud untuk menguji aplikasi Android, termasuk integrasi penuh dengan antarmuka command line (CLI) gcloud. Dokumen ini membahas penginstalan dan konfigurasi yang diperlukan untuk memulai penggunaan Test Lab dari gcloud CLI.

Untuk mengetahui daftar lengkap perintah gcloud yang dapat Anda gunakan dengan aplikasi Android di Test Lab, baca dokumentasi referensi untuk gcloud firebase test android.

Jika Anda belum memiliki project Firebase untuk aplikasi Anda, buka Firebase console, lalu klik Buat Project Baru. Anda memerlukan izin kepemilikan atau izin edit dalam project.

Menyiapkan gcloud CLI

  1. Download Google Cloud SDK.
  2. SDK ini mencakup alat gcloud CLI.

  3. Pastikan penginstalan Anda sudah yang terbaru:
    gcloud components update
    
  4. Login ke gcloud CLI menggunakan Akun Google Anda:
    gcloud auth login
    
  5. Tetapkan project Firebase Anda di gcloud, dengan PROJECT_ID sebagai ID project Firebase Anda:
    gcloud config set project PROJECT_ID
    

Mengonfigurasi pengujian Anda

Pada contoh ini, Anda akan menjalankan beberapa pengujian pada Notepad, yaitu aplikasi pembuat catatan sederhana di Android.

  1. Download file APK biner untuk aplikasi Notepad (app-debug-unaligned.apk) beserta uji instrumensinya yang sesuai (app-debug-test-unaligned.apk) yang disediakan di direktori NotePad/app/build/outputs/apk/ pada notepad.zip.

  2. Dapatkan daftar perangkat Android terbaru yang dapat diuji, seperti berikut:

    
    $ gcloud firebase test android models list
    
    output daftar model gcloud firebase test android Kolom pertama pada output perintah, MODEL_ID, berisi ID yang dapat Anda gunakan nanti untuk menjalankan pengujian pada model tertentu. Kolom OS_VERSION_ID mencantumkan daftar versi sistem operasi yang didukung oleh perangkat tersebut. Jika Anda tidak menentukan MODEL_ID yang akan diuji, ID default yang tercantum pada kolom TAGS akan digunakan.

  3. Pelajari lebih lanjut MODEL_ID Android tertentu dengan perintah firebase test android models describe, seperti berikut:

    
    $ gcloud firebase test android models describe Nexus5
    
    Contoh perintah yang ditunjukkan di atas memberikan informasi mendetail tentang model Nexus5, termasuk merek, produsen, dan API level yang didukung, serta apakah modelnya bersifat fisik atau virtual.

  4. Dapatkan daftar versi OS Android terbaru yang dapat diuji:

    
    $ gcloud firebase test android versions list
    
    daftar versi android gcloud Anda dapat menggunakan ID yang tercantum di salah satu dari 2 kolom pertama output perintah (OS_VERSION_ID dan VERSION), untuk menjalankan pengujian nanti terhadap versi OS Android. Jika Anda tidak menetapkan versi OS Android yang akan diuji, versi default yang tercantum pada kolom TAGS akan digunakan.

  5. Dapatkan daftar lokal terbaru yang bisa diuji:

    
    $ gcloud firebase test android locales list
    
    Kolom pertama pada output perintah, LOCALE, berisi ID yang bisa Anda gunakan nanti untuk menjalankan pengujian pada suatu lokal. Jika Anda tidak menetapkan lokal yang akan diuji, bahasa Inggris akan digunakan sebagai lokal default. Output perintah tidak ditampilkan di sini karena terdapat ratusan lokal.

Menjalankan pengujian

Setelah mengetahui berbagai model perangkat, versi OS, dan lokal yang tersedia untuk digunakan ketika menguji aplikasi, Anda dapat menggunakan informasi tersebut untuk menentukan perangkat uji menggunakan perintah gcloud firebase test android run dan flag --device. Perintah dan flag ini digunakan ketika Anda menggunakan uji Robo untuk otomatis menguji aplikasi, atau ketika menjalankan uji instrumentasi yang ditulis khusus untuk menguji aplikasi.

Menjalankan uji Robo

Walaupun tidak melakukan uji instrumentasi, Anda masih dapat mencari bug dalam aplikasi. Gunakan uji Robo untuk melakukan peninjauan otomatis terhadap antarmuka pengguna aplikasi Anda. Uji Robo mencoba aplikasi dengan melakukan analisis statis pada berbagai jalur melalui antarmuka pengguna aplikasi, lalu melakukan crawling pada aplikasi untuk menemukan error dan potensi masalah lainnya.

Mari mulai dengan menjalankan contoh perintah:

gcloud firebase test android run \
  --type robo \
  --app app-debug-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape \
  --timeout 90s

Parameter --type robo bersifat implisit jika tidak ada nilai --type yang ditentukan. Anda dapat melihat kumpulan opsi command line lengkap untuk menjalankan pengujian dengan mengetik: gcloud help firebase test android run. Selain menetapkan semua argumen ini pada command line, Anda juga bisa menetapkannya dalam file argumen berformat YAML. Jalankan gcloud topic arg-files untuk mempelajari cara menggunakan fitur ini.

Lihat bagian Menganalisis hasil pengujian untuk mempelajari cara memeriksa hasil pengujian dari uji Robo.

Menjalankan uji instrumentasi

Sekarang, gunakan alat command line gcloud untuk menjalankan uji Espresso dari aplikasi Notepad pada konfigurasi perangkat Android yang Anda tentukan menggunakan jenis pengujian instrumentation untuk menjalankan pengujian di app-debug-test-unaligned.apk seperti berikut:

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug-unaligned.apk \
  --test app-debug-test-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape

Parameter --type instrumentation bersifat implisit jika APK pengujian telah ditentukan dengan --test. Selain menetapkan semua argumen ini pada command line, Anda juga bisa menetapkannya dalam file argumen berformat YAML. Jalankan gcloud topic arg-files untuk mempelajari cara menggunakan fitur ini.

Gcloud CLI mendukung Android Test Orchestrator. Orchestrator membutuhkan AndroidJUnitRunner v1.0 atau yang lebih tinggi. Untuk mengaktifkannya, gunakan gcloud firebase test android run dengan flag
--use-orchestrator. Untuk menonaktifkannya, gunakan flag --no-use-orchestrator.

Catatan: Anda juga dapat mengontrol cara Test Lab menjalankan uji instrumentasi menggunakan flag tambahan yang tidak ditampilkan di atas. Misalnya, Anda dapat menggunakan flag --test-targets untuk menguji satu class atau metode class yang digunakan oleh APK pengujian Anda. Anda juga dapat mencari tahu apakah pengujian Anda yang gagal sebenarnya tidak stabil atau stabil dengan menggunakan flag '--num-flaky-test-attempts'. Flag ini menentukan berapa kali eksekusi uji harus dicoba ulang jika satu atau beberapa kasus pengujiannya gagal karena alasan apa pun. Untuk mempelajari lebih lanjut, lihat gcloud firebase test android run.

Laporan cakupan kode untuk uji instrumentasi

Test Lab mendukung alat pelaporan cakupan kode EMMA dan JaCoCo. Jika salah satu alat tersebut telah terintegrasi dengan build aplikasi, Anda bisa mendapatkan laporan cakupan kode untuk pengujian Test Lab dengan menjalankan perintah gcloud firebase test android run dengan argumen berikut:

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables coverage=true,coverageFile="/sdcard/coverage.ec" \
  --directories-to-pull /sdcard

Setelah Test Lab selesai menjalankan pengujian, cari laporan cakupan kode Anda di Google Cloud Storage:

  1. Buka link Firebase console yang dicetak oleh alat gcloud di atas tabel hasil pengujian di terminal Anda.
  2. Klik eksekusi uji dari daftar di link tersebut untuk membuka halaman detail eksekusi.
  3. Klik Hasil pengujian untuk membuka bucket Cloud Storage yang menyimpan hasil pengujian eksekusi tersebut.
  4. Buka artifacts/coverage.ec untuk melihat laporan cakupan kode Anda.

Menganalisis hasil pengujian

Setelah beberapa saat, rangkuman dasar hasil pengujian Anda dicetak oleh alat gcloud:

Hasil pengujian perintah

Output dari pengujian command line Anda juga menyertakan link untuk melihat hasil pengujian. Untuk mempelajari lebih lanjut cara menafsirkan hasil ini, lihat Menganalisis Hasil Firebase Test Lab for Android.

Login dan input teks kustom dengan uji Robo

Uji Robo otomatis melengkapi layar login yang menggunakan Akun Google untuk autentikasi, kecuali jika Anda menggunakan parameter --no-auto-google-login. Uji Robo juga dapat melengkapi layar login khusus menggunakan kredensial akun pengujian yang Anda berikan. Anda juga dapat menggunakan parameter ini untuk memasukkan teks input kustom untuk kolom teks lain yang digunakan oleh aplikasi Anda.

Untuk melengkapi kolom teks di aplikasi Anda, gunakan parameter --robo-directives, lalu berikan daftar pasangan key-value yang dipisahkan koma, dengan key sebagai nama resource Android pada elemen UI target, sedangkan value sebagai string teks. Anda juga dapat menggunakan flag ini untuk memberi tahu Robo agar mengabaikan elemen UI tertentu (misalnya, tombol "logout"). Kolom EditText didukung, tetapi tidak untuk kolom teks dalam elemen UI WebView.

Misalnya, Anda dapat menggunakan parameter berikut untuk login kustom:

--robo-directives username_resource=username,password_resource=password

Perintah dan flag yang tersedia

Gcloud CLI Test Lab memiliki beberapa perintah dan flag yang memungkinkan Anda menjalankan pengujian dengan spesifikasi yang berbeda:

  • Flag Android Test Orchestrator: Flag untuk mengaktifkan Orchestrator, yakni alat yang dapat digunakan untuk menjalankan setiap pengujian aplikasi dalam pemanggilan Instrumentation. Test Lab selalu menjalankan Orchestrator versi terbaru.

  • Flag uji Game Loop: Sekumpulan flag konfigurasi yang mengaktifkan dan mengontrol "mode" demo untuk menyimulasikan tindakan pemain dalam aplikasi game. Pelajari lebih lanjut cara menjalankan uji Game Loop dengan Test Lab.

  • Flag Sharding seragam (dalam versi beta): Flag yang menentukan jumlah shard yang akan digunakan untuk distribusi kasus pengujian secara merata. Shard dijalankan secara paralel di perangkat terpisah.

  • Flag Sharding manual (dalam versi beta): Flag yang menentukan grup paket, class, dan/atau kasus pengujian untuk dijalankan di shard (grup kasus pengujian). Shard dijalankan secara paralel di perangkat terpisah.

  • Flag profil traffic jaringan (dalam versi beta): Flag yang menentukan profil jaringan yang digunakan pengujian Anda di perangkat fisik. Profil jaringan meniru berbagai kondisi jaringan sehingga Anda dapat menguji performa aplikasi pada jaringan yang tidak dapat diandalkan atau tidak dapat diprediksi.

Membuat skrip perintah gcloud dengan Test Lab

Anda dapat menggunakan skrip shell atau file batch untuk mengotomatiskan perintah pengujian aplikasi seluler yang diinginkan, atau jalankan dengan command line gcloud. Contoh skrip bash berikut menjalankan uji instrumentasi dengan waktu tunggu dua menit, dan melaporkan bahwa pengujian berjalan dengan sukses:

if gcloud firebase test android run --app my-app.apk --test my-test.apk --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Membuat skrip exit code

Test Lab menyediakan beberapa exit code yang dapat Anda gunakan agar lebih baik dalam memahami hasil pengujian yang dijalankan menggunakan skrip atau file batch.

Membuat skrip exit code untuk Test Lab

Exit CodeCatatan
0 Semua pelaksanaan pengujian lulus.
1 Terjadi kesalahan umum. Kemungkinan penyebab: nama file tidak ada atau error pada HTTP/jaringan.
2 Pengujian dikeluarkan karena ada perintah atau argumen yang tidak dikenal.
10 Satu atau beberapa kasus pengujian (class atau metode class yang diuji) dalam pelaksanaan pengujian tidak lulus.
15 Firebase Test Lab tidak bisa menentukan apakah matriks pengujian lulus atau gagal karena terjadinya error yang tidak terduga.
18 Lingkungan pengujian untuk pelaksanaan pengujian ini tidak didukung karena dimensi pengujian tidak kompatibel. Error ini mungkin terjadi jika level Android API yang dipilih tidak didukung oleh jenis perangkat yang dipilih.
19 Matriks pengujian dibatalkan oleh pengguna.
20 Terjadi error pada infrastruktur pengujian.