Buka konsol

Ringkasan Firebase Test Lab

Dengan Firebase Test Lab, Anda dapat menguji aplikasi di berbagai perangkat dan konfigurasi. Dengan begitu, Anda mendapatkan gambaran yang lebih baik tentang performa aplikasi saat digunakan. Untuk memfasilitasi pengujian yang luas seperti itu, Test Lab menjalankan pengujian Anda dalam batch yang disebut matriks uji. Di setiap matriks, aplikasi Anda diuji terhadap beberapa kombinasi konfigurasi perangkat.

Perangkat × Eksekusi Uji = Matriks Uji

Perangkat
Perangkat yang digunakan untuk menjalankan pengujian, seperti ponsel, tablet, atau perangkat wearable. Perangkat dalam matriks uji diidentifikasi berdasarkan model perangkat, versi OS, lokal, dan orientasi layar.
Eksekusi uji
Pengujian yang dijalankan di perangkat. Pada matriks uji biasa, ada satu pengujian per perangkat yang dipilih.
Matriks uji
Satu set eksekusi uji. Jika ada eksekusi uji yang gagal dalam matriks, seluruh matriks juga akan gagal.

Berikut cara yang dapat dipilih untuk memulai pengujian aplikasi Anda:

  • Integrasi Android Studio dapat digunakan untuk menguji aplikasi dari lingkungan pengembangan.
  • Dengan antarmuka command line gcloud, Anda dapat menjalankan pengujian dari command line secara interaktif, dan antarmuka ini juga sangat cocok untuk pembuatan skrip sebagai bagian dari proses pembuatan dan pengujian otomatis.
  • UI Test Lab dalam Firebase console dapat digunakan untuk mengupload biner aplikasi dan memulai pengujian dari mana saja.

Anda juga dapat menguji aplikasi dengan Test Lab ketika mengupload dan memublikasikan file APK aplikasi ke Play Store, baik menggunakan saluran alfa maupun beta. Untuk informasi lebih lanjut, baca artikel cara Menggunakan laporan pra-peluncuran untuk mengidentifikasi masalah dan Uji Robo.

Memilih metode pengujian

Anda dapat menggunakan Test Lab untuk memvalidasi kestabilan pengalaman pengguna aplikasi dan kompatibilitas aplikasi tersebut di berbagai perangkat.

Tersedia dua metode pengujian untuk membantu Anda menguji aplikasi: Anda dapat menjalankan Uji instrumentasi dan Uji Robo dari Test Lab.

Uji instrumentasi

Uji instrumentasi adalah pengujian yang ditulis secara khusus oleh Anda atau tim Anda untuk menguji aplikasi menggunakan framework pengujian Android Espresso dan UI Automator 2.0. Uji Instrumentasi berlangsung hingga 30 menit di perangkat fisik dan hingga 60 menit di perangkat virtual. Hasil uji diberikan untuk semua kasus pengujian yang diselesaikan selama waktu tersebut. Untuk mempelajari cara menjalankan uji instrumentasi, baca bagian Uji instrumentasi.

Saat menulis uji instrumentasi, Anda membuat modul APK kedua yang nantinya diupload ke Test Lab beserta modul APK untuk aplikasi Anda. Untuk mempelajari cara membuat APK uji, lihat Menguji aplikasi Anda.

Uji Robo

Meskipun belum menulis uji instrumentasi untuk aplikasi, Anda dapat menggunakan uji Robo untuk melatih aplikasi dengan melakukan simulasi tindakan pengguna. Untuk mempelajari lebih lanjut, lihat Uji Robo.

Uji Game Loop

Untuk mendukung pengujian aplikasi game, Test Lab kini menyertakan dukungan untuk menggunakan "mode demo", yang membuat aplikasi game berjalan sambil menyimulasikan tindakan pemain. Mode ini dapat menyertakan beberapa loop (atau skenario) yang dapat diatur dengan logika menggunakan label sehingga Anda dapat menjalankan beberapa loop yang berhubungan secara bersamaan. Untuk mempelajari lebih lanjut, lihat Uji game loop.

Memilih jenis perangkat

Test Lab mendukung pengujian di beberapa merek dan model perangkat Android yang terinstal dan berjalan di pusat data Google. Pengujian pada perangkat membantu Anda mendeteksi masalah yang mungkin tidak terjadi saat menguji aplikasi menggunakan emulator Android. Untuk mempelajari lebih lanjut, lihat Perangkat yang tersedia.

Meninjau hasil pengujian

Bagaimana pun cara Anda memulai pengujian, semua hasil uji akan dikelola oleh Test Lab dan dapat dilihat secara online. Hasil uji mencakup log uji dan detail kegagalan aplikasi. Untuk uji Robo, tersedia juga video dan screenshot. Untuk informasi selengkapnya, lihat Menganalisis Hasil Firebase Test Lab.

Saat memulai pengujian dari Android Studio, Anda juga dapat meninjau hasilnya dari dalam lingkungan pengembangan.

Kuota dan penagihan

Test Lab tersedia dalam tiga paket harga: Spark (gratis), Flame, dan Blaze.

Kuota untuk paket Spark dan Flame

Pada paket Spark dan Flame, Anda dapat menguji dengan kuota harian yang dibatasi untuk eksekusi pengujian: 10 perangkat virtual dan 5 perangkat fisik (untuk maksimum 15 pengujian per hari). Batas ini dibagi untuk berbagai jenis tes (Instrumentasi, Robo, Game Loop) dan matriks.

Penagihan untuk paket Blaze

Untuk menggunakan Test Lab tanpa batas penggunaan harian atau ukuran matriks uji, upgrade ke paket Firebase Blaze setelah Anda memilih project. Untuk mengupgrade paket penagihan, klik UPGRADE di Firebase console, lalu klik PILIH PAKET di kolom paket Blaze.

Penggunaan gratis yang setara dengan paket Spark disertakan dalam paket Blaze:

  • 15 jam pengujian di perangkat fisik
  • 30 jam pengujian di perangkat virtual

Semua penggunaan di atas batas tersebut memiliki tarif per jam sebagai berikut:

Biaya dihitung per menit dan Anda hanya ditagih untuk waktu yang diperlukan dalam menjalankan pengujian (bukan waktu yang diperlukan untuk menginstal aplikasi atau mengumpulkan hasil pengujian). Setelah Anda menjalankan matriks uji, Anda dapat melihat waktu yang dibutuhkan untuk menjalankan setiap pengujian pada setiap perangkat di halaman hasil eksekusi uji dan hasil matriks uji. Waktu yang ditagih untuk setiap eksekusi pengujian dibulatkan ke menit terdekat.

Test Lab dan layanan Google Play

Perangkat Test Lab biasanya menjalankan layanan Google Play versi terbaru. Tetapi karena banyaknya perangkat dan konfigurasi, terkadang perlu waktu beberapa hari sampai Test Lab selesai mengupdate perangkat setelah layanan Google Play baru dirilis. Agar pengujian berjalan dengan baik, pastikan aplikasi Anda menggunakan versi SDK layanan Google Play yang sama dengan atau lebih lama dari versi yang tercantum di bawah ini.

SDK layanan Google Play yang didukung saat ini: 11.8.0

Test Lab dan periklanan seluler

Untuk developer aplikasi yang menggunakan atau bekerja sama dengan penyedia layanan periklanan digital (misalnya, jaringan iklan, platform sisi permintaan) dan untuk penyedia periklanan digital:

Test Lab menyediakan infrastruktur pengujian aplikasi skalabel kepada developer yang mengotomatisasi pengujian aplikasi. Sayangnya, kemampuan ini dapat disalahgunakan oleh aplikasi berbahaya yang dirancang untuk menghasilkan pendapatan iklan penipuan.

Untuk mengurangi dampak masalah ini:

  • Developer aplikasi harus memberi tahu penyedia periklanan digital yang bekerja sama dengan mereka untuk memfilter pendapatan dan semua traffic terkait yang dihasilkan dari perangkat milik penyedia pengujian, termasuk Test Lab.

  • Penyedia iklan digital dapat memfilter pendapatan iklan dan semua traffic terkait yang dihasilkan dari Test Lab dengan memfilter traffic yang berasal dari blok alamat IP berikut:

    Perangkat fisik

    • 108.177.6.0/23

    Perangkat virtual

    • 35.192.160.56/29
    • 35.196.166.80/29
    • 35.196.169.240/29
    • 35.203.128.0/28
    • 35.234.176.160/28
    • 35.243.2.0/27 (ditambahkan 7-2019)
    • 199.192.115.0/30
    • 199.192.115.8/30
    • 199.192.115.16/29

Pembersihan perangkat

Google menangani keamanan data aplikasi Anda dengan sangat serius. Untuk perangkat fisik yang digunakan oleh Test Lab, kami mematuhi praktik terbaik standar industri untuk menghapus data aplikasi dari perangkat tersebut setiap selesai menjalankan pengujian guna memastikan bahwa perangkat siap menjalankan pengujian baru. Untuk perangkat yang dapat di-flash dengan image pemulihan kustom, kami melakukan flash tersebut di antara pengujian.

Untuk perangkat virtual yang digunakan oleh Test Lab, instance perangkat akan dihapus setelah digunakan sehingga setiap pengujian yang dijalankan akan menggunakan instance perangkat virtual baru.