Buka konsol

Ringkasan Firebase Test Lab

Dengan Firebase Test Lab, Anda dapat menguji aplikasi pada berbagai perangkat dan konfigurasi. Dengan begitu, Anda mendapatkan gambaran yang lebih baik tentang bagaimana performa aplikasi di tangan pengguna. Untuk memfasilitasi pengujian yang luas seperti itu, Test Lab menjalankan pengujian Anda dalam batch yang disebut matriks uji. Di setiap matriks, aplikasi Anda diuji terhadap beberapa kombinasi konfigurasi perangkat.

Dimensi Uji × Eksekusi Uji = Matriks Uji

  • Dimensi Uji: atribut perangkat untuk menguji aplikasi Anda, meliputi model perangkat, versi OS, lokal, dan orientasi layar.

  • Eksekusi Uji: pengujian individual, masing-masing dengan kombinasi unik dari dimensi uji yang telah Anda pilih untuk diuji.

  • Matriks Uji: hasil dari eksekusi uji pada dimensi uji yang dipilih. Jika ada eksekusi uji yang gagal dalam matriks, Test Lab menandai seluruh matriks sebagai gagal.

Berikut adalah cara yang dapat dipilih untuk memulai pengujian aplikasi Anda:

  • Integrasi Android Studio dapat digunakan untuk menguji aplikasi dari lingkungan pengembangan.
  • Dengan antarmuka command-line gcloud, Anda dapat menjalankan pengujian dari command line secara interaktif, dan antarmuka ini juga sangat cocok untuk pembuatan skrip sebagai bagian dari proses pembuatan dan pengujian otomatis.
  • UI Test Lab dalam Firebase console dapat digunakan untuk mengupload biner aplikasi dan memulai pengujian dari mana saja.

Anda juga dapat menguji aplikasi dengan Test Lab ketika mengupload dan memublikasikan file APK aplikasi ke Play Store, baik menggunakan saluran alfa maupun beta. Untuk informasi lebih lanjut, baca artikel Menggunakan laporan pra-peluncuran untuk mengidentifikasi masalah dan Uji Robo.

Pilih metode pengujian Anda

Anda dapat menggunakan Test Lab untuk memvalidasi kestabilan pengalaman pengguna aplikasi dan kompatibilitas aplikasi tersebut di berbagai perangkat.

Tersedia dua metode pengujian untuk membantu Anda menguji aplikasi: Anda dapat menjalankan Uji instrumentasi dan Uji Robo dari Test Lab.

Uji instrumentasi

Uji instrumentasi adalah pengujian yang ditulis secara khusus oleh Anda atau tim Anda untuk menguji aplikasi menggunakan framework pengujian Espresso dan UI Automator 2.0 untuk Android. Uji Instrumentasi berlangsung hingga 30 menit pada perangkat fisik dan hingga 60 menit pada perangkat virtual. Hasil uji diberikan untuk semua kasus pengujian yang diselesaikan selama waktu itu.

Saat menulis uji instrumentasi, Anda membuat modul APK kedua yang nantinya Anda upload ke Test Lab beserta modul APK untuk aplikasi Anda. Untuk mempelajari tentang cara membuat APK uji, lihat Menguji aplikasi Anda.

Uji Robo

Meskipun Anda belum menulis uji instrumentasi untuk aplikasi, Anda dapat menggunakan uji Robo untuk melatih aplikasi dengan melakukan simulasi tindakan pengguna. Untuk mempelajari lebih lanjut, lihat Uji Robo.

Pengujian Game Loop

Untuk mendukung pengujian aplikasi game, Test Lab kini menyertakan dukungan untuk menggunakan "mode demo", yang membuat aplikasi game berjalan sambil menyimulasikan aksi pemain. Mode ini dapat menyertakan beberapa loop (atau skenario) yang dapat diatur dengan logika menggunakan label sehingga Anda dapat menjalankan beberapa loop yang berhubungan secara bersamaan. Untuk mempelajari lebih lanjut, lihat pengujian Game Loop.

Memilih jenis perangkat Anda

Test Lab mendukung pengujian pada beberapa merek dan model perangkat Android yang ter-install dan berjalan di pusat data Google. Pengujian pada perangkat membantu Anda mendeteksi masalah yang mungkin tidak terjadi saat menguji aplikasi menggunakan emulator Android. Untuk mempelajari lebih lanjut, lihat Perangkat yang tersedia.

Meninjau hasil uji Anda

Bagaimana pun cara Anda memulai pengujian, semua hasil uji akan dikelola oleh Test Lab dan dapat dilihat secara online. Hasil uji mencakup log uji dan detail kegagalan aplikasi. Untuk uji Robo, tersedia juga video dan screenshot. Lihat Menganalisis Hasil Firebase Test Lab untuk detailnya.

Saat memulai pengujian dari Android Studio, Anda juga dapat meninjau hasilnya dari dalam lingkungan pengembangan.

Kuota dan penagihan

Test Lab tersedia dalam tiga paket harga: Spark (gratis), Flame, dan Blaze.

Kuota untuk paket Spark dan Flame

Pada paket Spark dan Flame, Anda dapat menguji dengan kuota harian yang dibatasi untuk eksekusi pengujian: 10 perangkat virtual dan 5 perangkat fisik (untuk maksimum 15 pengujian per hari). Batas ini dibagi untuk berbagai jenis tes (Instrumentasi, Robo, Game Loop) dan matriks.

Penagihan untuk paket Blaze

Untuk menggunakan Test Lab tanpa batas penggunaan harian atau ukuran matriks uji, upgrade ke paket Firebase Blaze setelah memilih project Anda. Untuk mengupgrade paket penagihan, klik UPGRADE di Firebase console, lalu klik PILIH PAKET di kolom paket Blaze.

Penggunaan gratis yang setara dengan paket Spark disertakan dalam paket Blaze:

  • 15 jam pengujian pada perangkat fisik
  • 30 jam pengujian pada perangkat virtual

Semua penggunaan di atas batas tersebut memiliki tarif per jam sebagai berikut:

Biaya dihitung per menit dan Anda hanya ditagih untuk waktu yang diperlukan dalam menjalankan pengujian (bukan waktu yang diperlukan untuk menginstal aplikasi atau mengumpulkan hasil pengujian). Setelah Anda menjalankan matriks uji, Anda dapat melihat waktu yang dibutuhkan untuk menjalankan setiap tes pada setiap perangkat di halaman hasil eksekusi uji dan hasil matriks uji. Waktu yang ditagih untuk setiap eksekusi tes dibulatkan ke menit terdekat.

Test Lab dan layanan Google Play

Perangkat Test Lab biasanya menjalankan layanan Google Play versi terbaru. Tetapi karena banyaknya perangkat dan konfigurasi, terkadang perlu waktu beberapa hari sampai Test Lab selesai mengupdate perangkat setelah layanan Google Play baru dirilis. Agar pengujian berjalan dengan baik, pastikan aplikasi Anda menggunakan versi SDK layanan Google Play yang sama dengan atau lebih lama dari versi yang tercantum di bawah ini.

SDK layanan Google Play yang didukung saat ini: 11.8.0

Test Lab dan periklanan seluler

Untuk developer aplikasi yang menggunakan atau bekerja sama dengan penyedia layanan periklanan digital (misalnya, jaringan iklan, platform sisi permintaan) dan untuk penyedia periklanan digital:

Test Lab menyediakan infrastruktur pengujian aplikasi terukur kepada developer yang mengotomatisasi pengujian aplikasi. Sayangnya, kemampuan ini dapat disalahgunakan oleh aplikasi berbahaya yang dirancang untuk menghasilkan pendapatan iklan penipuan.

Untuk mengurangi masalah ini:

  • Developer aplikasi harus memberi tahu penyedia periklanan digital yang bekerja sama dengan mereka untuk memfilter pendapatan dan semua traffic terkait yang dihasilkan dari perangkat milik penyedia pengujian, termasuk Test Lab.

  • Penyedia iklan digital dapat memfilter pendapatan iklan dan semua traffic terkait yang dihasilkan dari Test Lab dengan memfilter traffic yang berasal dari blok alamat IP berikut:

    Perangkat fisik

    • 108.177.6.0/23

    Perangkat virtual

    • 35.192.160.56/29
    • 35.196.166.80/29
    • 35.196.169.240/29
    • 35.203.128.0/28
    • 35.234.176.160/28
    • 199.192.115.0/30
    • 199.192.115.8/30
    • 199.192.115.16/29

Pembersihan perangkat

Google menganggap keamanan data aplikasi Anda dengan sangat serius. Untuk perangkat fisik yang digunakan oleh Test Lab, kami mematuhi praktik terbaik standar industri untuk menghapus data aplikasi dari perangkat tersebut setiap selesai menjalankan pengujian guna memastikan bahwa perangkat siap menjalankan pengujian baru. Untuk perangkat yang dapat di-flash dengan gambar pemulihan khusus, kami melakukan flash tersebut di antara pengujian.

Untuk perangkat virtual yang digunakan oleh Test Lab, instance perangkat akan dihapus setelah digunakan sehingga setiap pengujian yang dijalankan akan menggunakan instance perangkat virtual baru.