Firebase A/B Testing

Firebase A/B Testing membantu Anda mengoptimalkan pengalaman aplikasi dengan menyederhanakan cara Anda menjalankan, menganalisis, dan menskalakan eksperimen marketing dan produk. Hal ini memberi Anda kemampuan untuk menguji perubahan pada UI, fitur, atau kampanye interaksi aplikasi guna melihat pengaruhnya terhadap metrik utama (seperti pendapatan dan retensi) sebelum meluncurkannya secara luas.

A/B Testing berfungsi dengan FCM sehingga Anda dapat menguji berbagai pesan marketing, dan dengan Remote Config supaya Anda dapat menguji perubahan di dalam aplikasi.

Membuat eksperimen Remote Config Membuat eksperimen messaging

Kemampuan utama

Menguji dan meningkatkan pengalaman produk Anda Buat eksperimen menggunakan Remote Config untuk mengubah perilaku dan tampilan aplikasi Anda pada berbagai varian dalam eksperimen, lalu lakukan pengujian untuk mengetahui pengalaman produk mana yang paling efektif dalam mencapai hasil yang paling penting bagi Anda.
Menemukan cara untuk berinteraksi kembali dengan pengguna menggunakan Notifications Composer Gunakan A/B Testing untuk membantu Anda menemukan setelan kata-kata dan messaging yang paling efektif untuk melibatkan pengguna dengan aplikasi Anda.
Meluncurkan fitur baru secara aman Sebelum meluncurkan fitur baru, gunakan sekelompok pengguna yang lebih kecil terlebih dahulu untuk memastikan bahwa fitur tersebut sesuai sasaran Anda. Setelah Anda puas dengan hasil A/B Testing, luncurkan fitur tersebut untuk semua pengguna.
Grup pengguna target Jalankan pengujian A/B yang ditargetkan menggunakan data tentang pengguna aplikasi Anda. Misalnya, Anda dapat menargetkan subkumpulan pengguna yang menjalankan versi aplikasi, platform, bahasa tertentu, atau pengguna tertentu yang cocok dengan nilai properti pengguna Google Analytics.

Bagaimana cara kerjanya?

Saat membuat eksperimen, buat beberapa varian pengalaman pengguna dan ukur performa varian dalam mencapai sasaran yang Anda tetapkan (seperti meningkatkan pembelian dalam aplikasi). Grup pengguna yang Anda targetkan dapat ditentukan dengan beberapa kriteria yang dihubungkan dengan logika "AND"; misalnya, Anda dapat membatasi agar grup hanya terdiri dari pengguna versi aplikasi tertentu yang merupakan audience Analytics seperti "pengguna yang mengalami error" yang cocok dengan properti pengguna Google Analytics kustom yang ditetapkan oleh klien.

Eksperimen A/B Testing menguji Remote Config dan tindakan pengiriman pesan menggunakan Google Analytics untuk menargetkan pengguna dan mengukur hasil.

Dengan Remote Config, Anda dapat bereksperimen dengan mengubah satu atau beberapa parameter untuk mengubah perilaku dan tampilan aplikasi Anda. Anda dapat menggunakan cara ini untuk perubahan kecil seperti mencari skema warna dan penempatan opsi menu terbaik, atau untuk perubahan yang lebih signifikan seperti menguji fitur atau desain UI yang sepenuhnya baru. Dengan Notifications Composer, Anda dapat bereksperimen guna menemukan kata yang tepat untuk pesan notifikasi.

Baik menggunakan Remote Config maupun Notifications Composer untuk bereksperimen, Anda dapat memantau eksperimen hingga mengidentifikasi adanya posisi teratas, yakni varian yang memiliki performa terbaik dalam mencapai sasaran. Anda dapat memulai eksperimen dengan sejumlah kecil basis pengguna, lalu meningkatkan jumlah tersebut seiring waktu. Jika pada eksperimen pertama tidak ada varian yang dapat melampaui dasar pengukuran, Anda dapat memulai eksperimen baru guna menemukan cara terbaik untuk meningkatkan aplikasi.

Anda juga dapat melacak metrik lain (error aplikasi, retensi, dan pendapatan) beserta sasaran Anda agar dapat lebih memahami hasil eksperimen dan pengaruhnya terhadap pengalaman menggunakan aplikasi.

Alur implementasi

Tambahkan Remote Config atau Firebase Cloud Messaging ke aplikasi Jika aplikasi Anda sudah menggunakan Remote Config atau Cloud Messaging (atau keduanya), Anda dapat langsung mengikuti langkah berikutnya.
Tentukan varian yang ingin dievaluasi dengan pengujian A/B. Baik membuat perubahan kecil maupun menambahkan UI atau fitur baru, jika Anda dapat mengontrol perubahan tersebut dengan Remote Config, Anda dapat menguji beberapa varian pada perubahan tersebut dengan A/B Testing.

Anda juga dapat menggunakan A/B Testing dengan Notifications Composer untuk menguji beberapa varian pada kampanye re-engagement sebelum meluncurkannya ke semua pengguna.
Tentukan cara mengukur keberhasilan Pada eksperimen yang menggunakan Notifications Composer, Anda dapat menggunakan peristiwa Analytics untuk menentukan sasaran eksperimen dan membandingkan varian eksperimen. Dengan eksperimen Remote Config, Anda dapat menggunakan peristiwa Analytics atau funnel konversi untuk menentukan sasaran eksperimen.
Pantau eksperimen untuk menemukan varian pemenang Anda dapat memulai eksperimen dengan beberapa pengguna saja, lalu perkenalkan ke lebih banyak pengguna jika hasil awal terlihat bagus. Saat memantau eksperimen, Anda akan melihat varian mana yang lebih sering menyebabkan error aplikasi atau dampak lain pada pengalaman aplikasi, serta varian mana yang menunjukkan progres terbaik dalam mencapai sasaran Anda.

Langkah berikutnya