Pemecahan masalah & FAQ Test Lab

Mengapa pengujian saya perlu waktu begitu lama untuk dijalankan?

Saat Anda memilih perangkat dengan tingkat kapasitas tinggi di katalog Test Lab, pengujian dapat dimulai lebih cepat. Jika kapasitas perangkat rendah, pengujian mungkin perlu waktu lebih lama untuk berjalan. Jika jumlah pengujian yang dipanggil jauh lebih besar daripada kapasitas perangkat yang dipilih, pengujian dapat memerlukan waktu lebih lama untuk selesai.

Pengujian pada tingkat kapasitas perangkat apa pun mungkin memerlukan waktu lebih lama karena faktor berikut:

• Traffic, yang memengaruhi ketersediaan perangkat dan kecepatan pengujian.
• Kegagalan perangkat atau infrastruktur, yang dapat terjadi kapan saja. Untuk memeriksa apakah ada infrastruktur yang dilaporkan untuk Test Lab, lihat dasbor status Firebase.

Untuk mempelajari lebih lanjut kapasitas perangkat di Test Lab, lihat informasi kapasitas perangkat untuk Android dan iOS.

Mengapa saya menerima hasil pengujian yang tidak meyakinkan?

Hasil pengujian yang tidak meyakinkan biasanya terjadi karena pengujian yang dibatalkan atau error infrastruktur.

Error infrastruktur disebabkan oleh masalah Test Lab internal, seperti error jaringan atau perilaku perangkat yang tidak terduga. Test Lab secara internal menghentikan pengujian yang menghasilkan error infrastruktur beberapa kali sebelum melaporkan hasil yang tidak meyakinkan; Namun, Anda dapat menonaktifkan percobaan ulang ini menggunakan failFast.

Untuk mengetahui penyebab error, ikuti langkah-langkah berikut:

1. Periksa pemadaman layanan yang diketahui di dasbor status Firebase.

2. Coba lagi pengujian di Test Lab untuk memverifikasi bahwa pengujian tersebut dapat direproduksi.

3. Coba jalankan pengujian di perangkat atau jenis perangkat lain, jika ada.

Jika masalah berlanjut, hubungi tim Test Lab di saluran#test-lab di Firebase Slack.

Mengapa sharding membuat pengujian berjalan lebih lama?

Sharding dapat menyebabkan pengujian berjalan lebih lama jika jumlah shard yang Anda tetapkan melebihi jumlah perangkat yang dapat digunakan di Test Lab. Untuk menghindari situasi ini, coba beralih ke perangkat lain. Untuk informasi selengkapnya tentang cara memilih perangkat lain, lihat Kapasitas Perangkat.

Mengapa perlu waktu lama untuk memulai pengujian?

Saat Anda mengirimkan permintaan pengujian, aplikasi akan divalidasi terlebih dahulu, ditandatangani ulang, dll. sebagai persiapan untuk menjalankan pengujian pada perangkat. Biasanya, proses ini selesai dalam waktu kurang dari beberapa detik, tetapi dapat dipengaruhi oleh faktor seperti ukuran aplikasi Anda.

Setelah aplikasi Anda siap, eksekusi uji akan dijadwalkan dan tetap berada dalam antrean sampai perangkat siap menjalankannya. Hingga semua eksekusi uji selesai berjalan, status matriks akan menjadi "Tertunda" (terlepas dari apakah eksekusi uji berada dalam antrean atau berjalan secara aktif).

Mengapa perlu waktu lama untuk menyelesaikan pengujian?

Setelah eksekusi uji selesai, artefak pengujian akan didownload dari perangkat, diproses, dan diupload ke Cloud Storage. Durasi langkah ini dapat terpengaruh oleh jumlah dan ukuran artefak.

Berapa jumlah kuota gratis untuk Test Lab? Apa yang harus saya lakukan jika kehabisan kuota?

Firebase Test Lab menawarkan kuota gratis untuk pengujian di perangkat dan untuk penggunaan Cloud APIs. Perlu diperhatikan bahwa kuota pengujian menggunakan paket harga Firebase standar, sedangkan kuota Cloud API tidak.

• Kuota pengujian

  Kuota pengujian ditentukan oleh jumlah perangkat yang digunakan untuk menjalankan pengujian. Paket Firebase Spark memiliki kuota pengujian tetap tanpa biaya bagi pengguna. Untuk paket Blaze, kuota Anda dapat meningkat jika penggunaan Google Cloud Anda meningkat seiring waktu. Jika Anda mencapai kuota pengujian, tunggu hingga hari berikutnya atau upgrade ke paket Blaze jika saat ini Anda menggunakan paket Spark. Jika sudah menggunakan paket Blaze, Anda dapat meminta penambahan kuota. Untuk informasi lebih lanjut, lihat Kuota pengujian.

  Anda dapat memantau penggunaan kuota pengujian di Google Cloud Console.

• Kuota Cloud Testing API

  Cloud Testing API memiliki dua batas kuota: permintaan per hari per project, dan permintaan per 100 detik per project. Anda dapat memantau penggunaan Anda di Google Cloud Console.

• Kuota Cloud Tool Results API

  Cloud Tool Results API memiliki dua batas kuota: kueri per hari per project, dan kueri per 100 detik per project. Anda dapat memantau penggunaan Anda di Google Cloud Console.

  Lihat Kuota Cloud API untuk Test Lab untuk mengetahui informasi selengkapnya tentang batas API. Jika Anda telah mencapai batas kuota API:

  • Kirim permintaan untuk mendapatkan kuota yang lebih tinggi dengan mengedit kuota langsung di Google Cloud Console (perlu diperhatikan bahwa sebagian besar batas ditetapkan ke batas maksimum secara default), atau

  • Minta kuota API yang lebih tinggi dengan mengisi formulir permintaan di Google Cloud Console atau dengan menghubungi dukungan Firebase.

Bagaimana cara mengetahui apakah traffic yang sampai ke backend saya berasal dari Test Lab?

Dari backend, Anda dapat menentukan apakah traffic berasal dari perangkat uji yang dihosting Firebase atau tidak dengan memeriksa alamat IP sumber terhadap rentang IP kami.

Apakah Test Lab berfungsi dengan VPC-SC?

Test Lab tidak berfungsi dengan VPC-SC, yang memblokir penyalinan aplikasi dan artefak pengujian lainnya antara penyimpanan internal Test Lab dan bucket hasil pengguna. Saat ini, permintaan fitur telah diajukan untuk menambahkan dukungan VPC-SC dalam rilis mendatang.

Bagaimana cara mendeteksi pengujian yang tidak stabil di Test Lab?

Untuk mendeteksi perilaku yang tidak stabil dalam pengujian Anda, sebaiknya gunakan opsi --num-flaky-test-attempts . Penggunaan ulang Deflake ditagih atau dihitung terhadap kuota harian Anda sama seperti eksekusi uji normal.

Ingat hal berikut:

• Seluruh eksekusi uji akan berjalan lagi saat kegagalan terdeteksi. Tidak ada dukungan untuk mencoba ulang kasus uji yang gagal saja.
• Proses percobaan ulang Deflake dijadwalkan untuk berjalan pada waktu yang sama, tetapi tidak dijamin dijalankan secara paralel, misalnya, saat traffic melebihi jumlah perangkat yang tersedia.

Apakah Test Lab mendukung Appium, Flutter/FlutterDriver, ReactNative/Jest, atau Cucumber?

Meskipun beberapa item tersebut tercakup dalam rencana kami, saat ini kami tidak dapat memberikan komitmen untuk mendukung platform pengujian dan pengembangan aplikasi ini.

Di mana detail perangkat, seperti resolusi, dan sebagainya, dapat ditemukan?

Informasi perangkat mendetail tersedia melalui API dan dapat diakses dari klien gcloud menggunakan perintah jelaskan:

gcloud firebase test ios models describe MODEL

Dapatkah saya menggunakan sharding dengan pengujian iOS?

Sharding tidak didukung secara native dalam Test Lab untuk iOS. Namun, Anda dapat menggunakan klien Flank untuk melakukan sharding kasus pengujian iOS.

Ini berfungsi dengan menetapkan kunci dan nilai OnlyTestIdentifiers dalam file .xctestrun. Lihat halaman man untuk xcodebuild.xctestrun guna mengetahui detail selengkapnya.