Panduan ini menjelaskan konsep-konsep utama terkait peluncuran Remote Config, sehingga Anda dapat:
- Memahami cara kerja keanggotaan grup peluncuran.
- Mengetahui kapan harus menggunakan peluncuran dan kapan harus menggunakan Pengujian A/B.
- Mempelajari cara menafsirkan hasil peluncuran.
Memahami keanggotaan grup peluncuran
Saat Anda membuat peluncuran baru dan menetapkan persentase, Firebase akan menempatkan porsi audience yang berukuran sama ke dalam grup kontrol untuk mendapatkan hasil yang akurat saat membandingkan performa fitur yang diaktifkan, sehingga menghasilkan grup berikut ini.
- Enabled: Perangkat pengguna yang ditetapkan ke grup ini akan menerima value yang Anda konfigurasikan dalam peluncuran.
- Control: Perangkat pengguna yang ditetapkan ke grup ini akan menerima value yang seharusnya mereka terima dari Remote Config, bukan value peluncuran.
- Unassigned: Perangkat pengguna dalam grup ini akan menerima value yang seharusnya mereka terima dari Remote Config, tetapi tidak digunakan dalam hasil perbandingan peluncuran.
Artinya, jika Anda meluncurkan ke 2% pengguna, mereka akan ditambahkan ke grup Aktif dan 2% pengguna lainnya ditambahkan ke grup Kontrol yang digunakan untuk perbandingan. 96% pengguna Anda tetap berada dalam grup Belum ditetapkan.
Pendekatan ini memastikan perbandingan yang adil antara performa pengguna dan perangkat yang menerima nilai peluncuran dan yang tidak, serta memungkinkan Anda menentukan keberhasilan atau kegagalan peluncuran secara efektif pada halaman Hasil Peluncuran.
Penetapan grup peluncuran bersifat konsisten di semua fase peluncuran. Artinya, dalam peluncuran yang sama, jika Anda mengurangi persentasenya menjadi 0%, semua pengguna akan kembali menerima parameter value yang ditetapkan dalam template Remote Config. Jika nanti Anda memutuskan untuk meningkatkan persentase peluncuran, pengguna yang sebelumnya merupakan anggota grup Aktif atau Kontrol akan kembali ke grup awal dan akan menerima nilai yang konsisten dengan grup tersebut.
Setelah memverifikasi bahwa rilis Anda berhasil dan memutuskan untuk meluncurkannya secara penuh ke 100% pengguna yang ditargetkan, Firebase tidak lagi akan menggunakan grup kontrol dan semua pengguna dan perangkat yang ditargetkan akan menerima nilai peluncuran.
Kapan harus menggunakan peluncuran dibandingkan dengan pengujian A/B?
Peluncuran Remote Config dan A/B Testing cocok untuk kasus penggunaan yang sedikit berbeda dan dapat digunakan secara saling melengkapi.
Peluncuran adalah rilis bertahap, dan sering digunakan untuk merilis fitur baru untuk grup pengguna tertentu. Anda mungkin ingin menargetkan pengguna di negara tertentu, atau menggunakan versi aplikasi tertentu. Gunakan peluncuran untuk memitigasi risiko, untuk menguji fitur baru di lingkungan aktual, dengan kontrol yang ketat, sehingga Anda dapat melihat performa fitur tersebut. Anda juga dapat memantau performa layanan backend dengan penambahan fitur baru, dan memperkiraan penggunaan untuk memastikan perubahan Anda skalabel sebelum dirilis ke audience yang lebih luas.
Peluncuran adalah alat yang sangat baik untuk situasi ketika Anda mengimplementasikan fitur baru yang secara signifikan mengubah fungsionalitas, perubahan yang dapat mengakibatkan hasil yang tidak dapat diprediksi, atau perubahan yang dapat memengaruhi infrastruktur backend, layanan, atau API eksternal Anda.
A/B Testing memberi Anda kemampuan untuk menyajikan beberapa versi fitur atau elemen aplikasi. Misalnya, memperbarui tampilan dan nuansa UI, mengubah teks iklan, atau memperbarui tingkat kesulitan game. Anda kemudian dapat menampilkan berbagai variasi kepada pengguna untuk mempelajari opsi mana yang memberikan hasil yang lebih baik berdasarkan metrik pilihan Anda (seperti engagement pengguna, klik iklan, dan pendapatan).
Gunakan A/B Testing untuk pengambilan keputusan berbasis data, pengoptimalan, dan memahami preferensi pengguna. Ini sangat cocok untuk situasi di mana Anda memiliki beberapa opsi yang sebanding dan tujuan yang sangat spesifik. Misalnya, A/B Testing cocok untuk perubahan di mana Anda ingin menyesuaikan aplikasi Anda untuk meningkatkan metrik tertentu, seperti menguji penempatan iklan banner mana yang menghasilkan lebih banyak klik.
Sebaiknya gabungkan peluncuran Remote Config dan A/B Testing dalam satu strategi menyeluruh: Pertama, buat Pengujian A/B dengan sekelompok pengguna terbatas untuk menemukan varian dengan hasil optimal untuk metrik utama Anda. Kemudian, setelah A/B Testing menentukan pemimpin, buat peluncuran dengan varian terbaik. Pantau stabilitas dan metrik utamanya saat Anda secara bertahap meningkatkan jumlah pengguna yang terekspos dan, setelah Anda yakin dengan performanya, luncurkan hingga 100%.
Memahami hasil peluncuran
Setelah memublikasikan peluncuran, Anda akan langsung melihat hasilnya.
Anda dapat melihat hasilnya dalam berbagai cara:
- Dari halaman Parameters, luaskan parameter yang Anda konfigurasi untuk Peluncuran dan, di bawah peluncuran, klik View results.
- Dari halaman Rollouts, klik nama peluncuran.
Pemilih aplikasi di bagian atas halaman Hasil memungkinkan Anda memilih tampilan untuk aplikasi tertentu. Hasil dibagi menjadi beberapa bagian:
- Bagian Ringkasan, yang menampilkan Persentase peluncuran yang dikonfigurasi dan menyediakan kemampuan untuk melakukan roll back atau mengedit peluncuran. Ketika diperluas, bagian tersebut menampilkan Ringkasan dari detail konfigurasi peluncuran dan Change history.
Bagian Users, yang menampilkan jumlah penginstalan aplikasi unik yang telah mengambil template peluncuran di grup berikut:
- Aktif: Jumlah instance aplikasi yang cocok dengan kondisi peluncuran target dan telah mengambil nilai peluncuran.
- Kontrol: Jumlah instance aplikasi yang cocok dengan kondisi peluncuran target dan telah mengambil nilai yang tidak berubah.
- Target: Estimasi total jumlah instance yang cocok dengan kondisi yang Anda tetapkan dalam peluncuran, yang seharusnya menerima peluncuran atau nilai yang tidak berubah.
Pelajari lebih lanjut di Memahami keanggotaan grup peluncuran.
Bagian Crashlytics dan Analytics, yang menampilkan data perbandingan grup Enabled dan Control. Anda dapat memfilter data yang dikumpulkan selama Last 24 hours, Since last publish, atau Last 7 days. 24 jam terakhir adalah tampilan default-nya.
Hasil Crashlytics untuk peluncuran
Anda dapat melihat jumlah total Crashes, Non-fatals, dan ANRs yang terjadi selama peluncuran. Setiap kategori hasil menunjukkan grafik batang yang membandingkan total pengguna mentah Aktif dan Kontrol yang memenuhi kondisi peluncuran.
- Error: Menampilkan jumlah dan persentase error, serta jumlah pengguna unik yang mengalami error pada grup Aktif dan Kontrol.
- Non-fatal: Menampilkan jumlah dan persentase error non-fatal, jumlah pengguna unik yang mengalami error non-fatal.
- ANR (khusus aplikasi Android): Menampilkan jumlah dan persentase peristiwa "Aplikasi Tidak Merespons", serta jumlah pengguna unik yang mengalami satu atau beberapa peristiwa ANR.
Untuk mendapatkan informasi selengkapnya tentang error, Anda dapat mengklik View more in Crashlytics. Tindakan ini akan membuka halaman Crashlytics dengan filter aktif untuk peluncuran yang hasilnya sedang Anda periksa. Hasil peluncuran di halaman Crashlytics mengukur semua pengguna yang pernah masuk dalam salah satu varian, Enabled atau Control. Anda dapat memilih untuk melihat error grup Kontrol, error grup Aktif, atau keduanya.
Hasil Google Analytics untuk peluncuran
Bagian hasil peluncuran Google Analytics membandingkan metrik Analytics untuk semua pengguna yang pernah masuk ke grup Aktif atau Kontrol secara mendetail dan dalam tampilan grafik. Terdapat tiga metrik yang tersedia:
- Total pendapatan: Menampilkan jumlah total pendapatan, termasuk Pendapatan iklan dan Pendapatan pembelian, dalam USD. Anda dapat memfilter hasil guna menampilkan hasil khusus untuk Pendapatan iklan atau Pendapatan pembelian.
- Total konversi: Menampilkan jumlah mentah dari jumlah semua peristiwa konversi. Anda dapat memfilter hasil berdasarkan konversi yang ingin disorot.
- Total waktu engagement: Menampilkan total waktu engagement yang dihabiskan pengguna Anda dengan salah satu varian peluncuran. Total waktu engagement ditampilkan dalam format Jam:Menit:Detik. Misalnya, 01:31:28. Grafik ini menunjukkan data dari jangka waktu yang Anda pilih di atas bagian Crashlytics.