Pengujian A/B Firebase

Dengan dukungan Google Optimize, Pengujian A/B Firebase membantu Anda mengoptimalkan pengalaman aplikasi dengan membuatnya mudah dijalankan, dianalisis, serta mempermudah penskalaan eksperimen marketing dan produk. Hal ini memberi Anda kemampuan untuk menguji perubahan terhadap UI, fitur, atau kampanye interaksi aplikasi guna melihat apakah perubahan tersebut berdampak signifikan terhadap metrik kunci Anda (seperti pendapatan dan retensi) sebelum menerapkannya secara luas.

Pengujian A/B berfungsi dengan FCM sehingga Anda dapat menguji berbagai pesan marketing dan dengan Remote Config agar Anda dapat menguji perubahan dalam aplikasi.

Membuat eksperimen Remote Config Membuat eksperimen messaging

Kemampuan utama

Menguji dan meningkatkan pengalaman produk Anda Buat eksperimen dengan Remote Config untuk mengubah perilaku dan tampilan aplikasi Anda pada berbagai varian dalam eksperimen Anda, lalu lakukan pengujian pengalaman produk mana yang paling efektif dalam mendorong hasil yang paling Anda anggap penting.
Menemukan cara untuk berinteraksi kembali dengan pengguna menggunakan Notifications Composer Gunakan Pengujian A/B untuk membantu Anda menemukan setelan kata-kata dan messaging yang paling efektif untuk melibatkan pengguna ke dalam aplikasi Anda.
Meluncurkan fitur baru secara aman Jangan luncurkan fitur baru tanpa memastikan bahwa fitur ini memenuhi tujuan Anda dengan subset pengguna lebih kecil terlebih dahulu. Setelah Anda yakin dengan hasil Pengujian A/B, luncurkan fitur tersebut untuk semua pengguna.
Menargetkan grup pengguna "terprediksi" Dengan menggunakan Firebase Predictions, Anda dapat menjalankan pengujian A/B pada pengguna yang diprediksi melakukan tindakan tertentu, entah itu untuk mengeluarkan uang (atau tidak), melakukan churn dari aplikasi Anda, atau melakukan peristiwa konversi lain yang sudah Anda tentukan dengan Analytics.

Bagaimana cara kerjanya?

Saat membuat eksperimen, Anda menguji satu atau beberapa varian dan mengukur seberapa baik varian ini dalam mencapai kemajuan ke arah sasaran yang Anda inginkan (seperti meningkatkan pembelian dalam aplikasi). Grup pengguna yang Anda targetkan dapat ditentukan oleh beberapa kriteria yang dihubungkan dengan logika "AND"; sebagai contoh, Anda dapat membatasi grup untuk pengguna versi aplikasi tertentu yang menjadi bagian audience Analytics seperti "pengguna yang mengalami error" dan grup yang dibuat secara otomatis oleh Firebase Predictions berdasarkan kemungkinannya untuk melakukan churn.

Dengan Remote Config, Anda dapat bereksperimen dengan mengubah beberapa parameter pada semua varian untuk memengaruhi perilaku dan tampilan aplikasi melalui berbagai cara di setiap grup varian. Anda dapat menggunakan cara ini untuk perubahan halus, seperti mengutak-atik skema warna dan penempatan opsi menu yang terbaik, atau untuk perubahan signifikan seperti menguji fitur atau desain UI yang sepenuhnya baru. Dengan Notifications composer, Anda dapat bereksperimen guna menemukan kata yang tepat untuk pesan notifikasi.

Baik eksperimen Anda menggunakan Remote Config atau Notifications Composer, Anda dapat memantaunya hingga mendapatkan serangkaian hasil yang valid, lalu mengidentifikasi varian dominan, yakni varian yang paling baik dalam mencapai sasaran. Anda dapat memulai eksperimen dengan sejumlah kecil basis pengguna, lalu meningkatkan jumlah tersebut seiring waktu. Jika eksperimen pertama tidak menemukan varian yang mencapai sasaran dengan lebih baik dibandingkan yang dicapai aplikasi Anda saat ini, Anda dapat memulai babak eksperimen baru untuk menemukan cara terbaik untuk meningkatkan aplikasi.

Anda juga dapat melacak metrik lain (error aplikasi, retensi, dan interaksi) beserta sasaran Anda agar dapat lebih memahami hasil eksperimen dan pengaruhnya terhadap pengalaman menggunakan aplikasi.

Alur implementasi

Tambahkan Remote Config atau Firebase Cloud Messaging ke aplikasi Jika aplikasi Anda sudah menggunakan Remote Config atau Cloud Messaging (atau keduanya), Anda dapat melewati ke langkah berikutnya.
Tentukan varian yang ingin dievaluasi dengan pengujian A/B. Baik membuat perubahan yang sangat halus maupun menambahkan UI atau fitur baru, jika Anda dapat mengontrol perubahan tersebut dengan Remote Config, Anda dapat menguji beberapa varian pada perubahan tersebut dengan Pengujian A/B.

Anda juga dapat menggunakan Pengujian A/B dengan Notifications composer untuk menguji beberapa varian pada kampanye re-engagement sebelum meluncurkannya ke semua pengguna.
Tentukan cara mengukur keberhasilan Pada eksperimen yang menggunakan Notifications Composer, Anda dapat menggunakan aktivitas Analytics untuk menentukan sasaran eksperimen dan membandingkan varian eksperimen. Dengan eksperimen Remote Config, Anda dapat menggunakan peristiwa Analytics atau funnel konversi untuk menentukan sasaran eksperimen.
Pantau eksperimen untuk menemukan varian pemenang Anda dapat memulai eksperimen dengan beberapa pengguna saja, lalu perkenalkan ke lebih banyak pengguna jika hasil awal terlihat bagus. Saat memantau eksperimen, Anda akan melihat apakah beberapa varian menyebabkan error aplikasi lebih sering atau dampak lain pada pengalaman aplikasi, serta melihat varian mana yang memberikan kemajuan terbesar menuju sasaran Anda.

Langkah berikutnya