Ikuti semua informasi yang diumumkan di Firebase Summit, dan pelajari bagaimana Firebase dapat membantu Anda mempercepat pengembangan aplikasi dan menjalankan aplikasi dengan percaya diri. Pelajari Lebih Lanjut

Buat Eksperimen Perpesanan dengan Pengujian A/B

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Saat Anda menjangkau pengguna atau memulai kampanye pemasaran baru, Anda ingin memastikan bahwa Anda melakukannya dengan benar. Pengujian A/B dapat membantu Anda menemukan susunan kata dan presentasi yang optimal dengan menguji varian pesan pada bagian tertentu dari basis pengguna Anda. Apakah sasaran Anda adalah retensi atau konversi yang lebih baik pada suatu penawaran, pengujian A/B dapat melakukan analisis statistik untuk menentukan apakah varian pesan mengungguli garis dasar untuk tujuan yang Anda pilih.

Untuk varian fitur pengujian A/B dengan garis dasar, lakukan hal berikut:

  1. Buat percobaan Anda.
  2. Validasi eksperimen Anda di perangkat uji.
  3. Kelola eksperimen Anda.

Buat eksperimen

Eksperimen yang menggunakan Notifications Composer memungkinkan Anda mengevaluasi beberapa varian pada satu pesan notifikasi.

  1. Masuk ke Firebase console dan verifikasi bahwa Google Analytics diaktifkan di proyek Anda sehingga eksperimen memiliki akses ke data Analytics.

    Jika Anda tidak mengaktifkan Google Analytics saat membuat proyek, Anda dapat mengaktifkannya di tab Integrasi , yang dapat Anda akses menggunakan > Setelan proyek di konsol Firebase .

  2. Di bagian Libatkan bilah navigasi Firebase console , klik Pengujian A/B .

  3. Klik Buat percobaan , lalu pilih Notifikasi saat diminta untuk layanan yang ingin Anda coba.

  4. Masukkan Nama dan Uraian opsional untuk eksperimen Anda, lalu klik Berikutnya .

  5. Isi kolom Penargetan , pertama-tama pilih aplikasi yang menggunakan eksperimen Anda. Anda juga dapat menargetkan subkumpulan pengguna untuk berpartisipasi dalam eksperimen dengan memilih opsi yang mencakup hal berikut:

    • Versi: Satu atau beberapa versi aplikasi Anda
    • Audiens pengguna: Audiens Analytics digunakan untuk menargetkan pengguna yang mungkin disertakan dalam eksperimen
    • Properti pengguna: Satu atau beberapa properti pengguna Analytics untuk memilih pengguna yang mungkin disertakan dalam eksperimen
    • Negara/Wilayah: Satu atau beberapa negara atau wilayah untuk memilih pengguna yang mungkin disertakan dalam eksperimen
    • Bahasa perangkat: Satu atau beberapa bahasa dan lokal digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen
    • Buka pertama: Menargetkan pengguna berdasarkan pertama kali mereka membuka aplikasi Anda
    • Interaksi aplikasi terakhir: Menargetkan pengguna berdasarkan terakhir kali mereka berinteraksi dengan aplikasi Anda
  6. Tetapkan Persentase pengguna target: Pilih persentase basis pengguna aplikasi Anda yang cocok dengan kriteria yang ditetapkan pada Pengguna target yang ingin Anda bagi secara merata antara garis dasar dan satu varian atau lebih dalam eksperimen Anda. Ini bisa berupa persentase antara 0,01% dan 100%. Persentase ditetapkan ulang secara acak ke pengguna untuk setiap eksperimen, termasuk eksperimen duplikat.

  7. Di bagian Varian , ketik pesan untuk dikirim ke grup garis dasar di bidang teks Masukkan pesan . Untuk tidak mengirim pesan ke grup dasar, kosongkan bidang ini.

  8. (opsional) Untuk menambahkan lebih dari satu varian ke eksperimen Anda, klik Tambahkan Varian . Secara default, eksperimen memiliki satu garis dasar dan satu varian.

  9. (opsional) Masukkan nama untuk setiap varian dalam eksperimen Anda untuk menggantikan nama Varian A , Varian B , dll.

  10. Tentukan metrik sasaran untuk eksperimen Anda yang akan digunakan saat mengevaluasi varian eksperimen beserta metrik tambahan yang diinginkan dari daftar tarik-turun. Metrik ini mencakup tujuan bawaan (keterlibatan, pembelian, pendapatan, retensi, dll.), peristiwa konversi Analytics, dan peristiwa Analytics lainnya.

  11. Pilih opsi untuk pesan Anda:

    • Tanggal pengiriman: Pilih Kirim Sekarang untuk segera meluncurkan eksperimen saat disimpan, atau Dijadwalkan untuk menentukan waktu peluncuran eksperimen Anda di masa mendatang.
    • Opsi lanjutan: Untuk memilih opsi lanjutan untuk semua pemberitahuan yang disertakan dalam eksperimen Anda, luaskan Opsi lanjutan , lalu ubah salah satu opsi pesan yang tercantum.
  12. Klik Tinjau untuk menyimpan eksperimen Anda.

Anda diizinkan hingga 300 eksperimen per project, yang dapat terdiri dari hingga 24 eksperimen yang sedang berjalan, dengan sisanya sebagai draf atau selesai.

Validasi eksperimen Anda di perangkat uji

Untuk setiap penginstalan Firebase, Anda dapat mengambil token pendaftaran FCM yang terkait dengannya. Anda dapat menggunakan token ini untuk menguji varian eksperimen tertentu pada perangkat pengujian dengan aplikasi terpasang. Untuk memvalidasi eksperimen Anda di perangkat uji, lakukan hal berikut:

  1. Dapatkan token pendaftaran FCM sebagai berikut:

    Cepat

    Messaging.messaging().token { token, error in
      if let error = error {
        print("Error fetching FCM registration token: \(error)")
      } else if let token = token {
        print("FCM registration token: \(token)")
        self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
      }
    }
    

    Objective-C

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
      if (error != nil) {
        NSLog(@"Error getting FCM registration token: %@", error);
      } else {
        NSLog(@"FCM registration token: %@", token);
        self.fcmRegTokenMessage.text = token;
      }
    }];
    

    Java

    FirebaseMessaging.getInstance().getToken()
        .addOnCompleteListener(new OnCompleteListener<String>() {
            @Override
            public void onComplete(@NonNull Task<String> task) {
              if (!task.isSuccessful()) {
                Log.w(TAG, "Fetching FCM registration token failed", task.getException());
                return;
              }
    
              // Get new FCM registration token
              String token = task.getResult();
    
              // Log and toast
              String msg = getString(R.string.msg_token_fmt, token);
              Log.d(TAG, msg);
              Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
            }
        });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
        if (!task.isSuccessful) {
            Log.w(TAG, "Fetching FCM registration token failed", task.exception)
            return@OnCompleteListener
        }
    
        // Get new FCM registration token
        val token = task.result
    
        // Log and toast
        val msg = getString(R.string.msg_token_fmt, token)
        Log.d(TAG, msg)
        Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
    })

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
        

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
        }
      });
    
  2. Di bilah navigasi Firebase console , klik Pengujian A/B .
  3. Klik Draf , arahkan kursor ke eksperimen Anda, klik menu konteks ( ), lalu klik Kelola perangkat pengujian
  4. Masukkan token FCM untuk perangkat pengujian dan pilih varian eksperimen untuk dikirim ke perangkat pengujian tersebut.
  5. Jalankan aplikasi dan konfirmasikan bahwa varian yang dipilih diterima di perangkat uji.

Kelola eksperimen Anda

Baik Anda membuat eksperimen dengan Remote Config, Notifications composer, atau Firebase In-App Messaging, Anda kemudian dapat memvalidasi dan memulai eksperimen, memantau eksperimen saat sedang berjalan, dan meningkatkan jumlah pengguna yang disertakan dalam eksperimen yang sedang berjalan.

Setelah eksperimen selesai, Anda dapat mencatat setelan yang digunakan oleh varian pemenang, lalu meluncurkan setelan tersebut ke semua pengguna. Atau, Anda dapat menjalankan eksperimen lain.

Mulai eksperimen

  1. Di bagian Libatkan bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Draf , lalu klik judul eksperimen Anda.
  3. Untuk memvalidasi bahwa aplikasi Anda memiliki pengguna yang akan disertakan dalam eksperimen, luaskan detail draf dan periksa angka yang lebih besar dari 0% di bagian Penargetan dan distribusi (misalnya, 1% pengguna yang cocok dengan kriteria ).
  4. Untuk mengubah eksperimen Anda, klik Edit .
  5. Untuk memulai eksperimen, klik Mulai Eksperimen . Anda dapat menjalankan hingga 24 eksperimen per proyek sekaligus.

Memantau percobaan

Setelah eksperimen berjalan beberapa saat, Anda dapat memeriksa kemajuannya dan melihat seperti apa hasil Anda bagi pengguna yang telah berpartisipasi dalam eksperimen Anda sejauh ini.

  1. Di bagian Libatkan bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Berjalan , lalu klik, atau telusuri, judul eksperimen Anda. Di halaman ini, Anda dapat melihat berbagai statistik yang diamati dan dimodelkan tentang eksperimen yang sedang berjalan, termasuk yang berikut:

    • % perbedaan dari garis dasar : Ukuran peningkatan metrik untuk varian tertentu dibandingkan dengan garis dasar. Dihitung dengan membandingkan rentang nilai untuk varian dengan rentang nilai untuk garis dasar.
    • Probabilitas untuk mengalahkan baseline : Estimasi probabilitas bahwa varian tertentu mengalahkan baseline untuk metrik yang dipilih.
    • observed_metric per pengguna : Berdasarkan hasil eksperimen, ini adalah rentang prediksi di mana nilai metrik akan jatuh dari waktu ke waktu.
    • Total observed_metric : Nilai kumulatif yang diamati untuk baseline atau varian. Nilai tersebut digunakan untuk mengukur seberapa baik performa setiap varian eksperimen, dan digunakan untuk menghitung Peningkatan , Rentang nilai , Probabilitas untuk mengalahkan baseline , dan Probabilitas untuk menjadi varian terbaik . Bergantung pada metrik yang diukur, kolom ini dapat diberi label "Durasi per pengguna", "Pendapatan per pengguna", "Tingkat retensi", atau "Tingkat konversi".
  3. Setelah eksperimen Anda berjalan selama beberapa waktu (minimal 7 hari untuk FCM dan In-App Messaging atau 14 hari untuk Remote Config), data di halaman ini menunjukkan varian mana, jika ada, yang merupakan "pemimpin". Beberapa pengukuran disertai dengan diagram batang yang menyajikan data dalam format visual.

Luncurkan eksperimen untuk semua pengguna

Setelah eksperimen berjalan cukup lama sehingga Anda memiliki varian "unggulan", atau pemenang, untuk metrik sasaran, Anda dapat meluncurkan eksperimen ke 100% pengguna. Hal ini memungkinkan Anda memilih varian untuk dipublikasikan ke semua pengguna di masa mendatang. Meskipun eksperimen Anda belum menghasilkan pemenang yang jelas, Anda tetap dapat memilih untuk meluncurkan varian ke semua pengguna.

  1. Di bagian Libatkan bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Selesai atau Berjalan , klik eksperimen yang ingin Anda luncurkan ke semua pengguna, klik menu konteks ( ), lalu klik Luncurkan varian .
  3. Luncurkan eksperimen Anda ke semua pengguna dengan melakukan salah satu hal berikut:

    • Untuk eksperimen yang menggunakan Notifications composer , gunakan dialog Luncurkan pesan untuk mengirim pesan ke pengguna target lainnya yang bukan bagian dari eksperimen.
    • Untuk eksperimen Remote Config , pilih varian untuk menentukan nilai parameter Remote Config mana yang akan diperbarui. Kriteria penargetan yang ditentukan saat membuat eksperimen akan ditambahkan sebagai kondisi baru di template Anda, untuk memastikan peluncuran hanya memengaruhi pengguna yang ditargetkan oleh eksperimen. Setelah mengklik Tinjau di Remote Config untuk meninjau perubahan, klik Publikasikan perubahan untuk menyelesaikan peluncuran.
    • Untuk eksperimen In-App Messaging , gunakan dialog untuk menentukan varian mana yang perlu diluncurkan sebagai kampanye In-App Messaging mandiri. Setelah dipilih, Anda akan dialihkan ke layar penulisan FIAM untuk membuat perubahan apa pun (jika diperlukan) sebelum menerbitkan.

Perluas eksperimen

Jika Anda menemukan bahwa eksperimen tidak menghasilkan cukup banyak pengguna untuk Pengujian A/B untuk mendeklarasikan unggulan, Anda dapat meningkatkan distribusi eksperimen untuk menjangkau persentase yang lebih besar dari basis pengguna aplikasi.

  1. Di bagian Libatkan bilah navigasi Firebase console , klik Pengujian A/B .
  2. Pilih eksperimen yang sedang berjalan yang ingin Anda edit.
  3. Di ikhtisar Eksperimen , klik menu konteks ( ), lalu klik Edit eksperimen yang sedang berjalan .
  4. Dialog Penargetan menampilkan opsi untuk meningkatkan persentase pengguna yang berada dalam eksperimen yang sedang berjalan. Pilih angka yang lebih besar dari persentase saat ini dan klik Terbitkan . Eksperimen akan didorong ke persentase pengguna yang telah Anda tentukan.

Gandakan atau hentikan eksperimen

  1. Di bagian Libatkan bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Selesai atau Berjalan , arahkan kursor ke eksperimen Anda, klik menu konteks ( ), lalu klik Gandakan eksperimen atau Hentikan eksperimen .

Penargetan pengguna

Anda dapat menargetkan pengguna untuk disertakan dalam eksperimen menggunakan kriteria penargetan pengguna berikut.

Kriteria penargetan Operator Nilai Catatan
Versi: kapan mengandung,
tidak mengandung,
cocok persis,
mengandung regex
Masukkan nilai untuk satu atau beberapa versi aplikasi yang ingin Anda sertakan dalam eksperimen.

Saat menggunakan salah satu dari berisi , tidak berisi , atau sama persis dengan operator, Anda dapat memberikan daftar nilai yang dipisahkan koma.

Saat menggunakan operator berisi regex , Anda dapat membuat ekspresi reguler dalam format RE2 . Ekspresi reguler Anda dapat cocok dengan semua atau sebagian dari string versi target. Anda juga dapat menggunakan jangkar ^ dan $ untuk mencocokkan awal, akhir, atau keseluruhan string target.

Audiens pengguna mencakup semua,
mencakup setidaknya satu dari,
tidak termasuk semua,
tidak termasuk setidaknya salah satu dari
Pilih satu atau beberapa audiens Analytics untuk menargetkan pengguna yang mungkin disertakan dalam eksperimen Anda. Beberapa eksperimen yang menargetkan pemirsa Google Analytics mungkin memerlukan waktu beberapa hari untuk mengumpulkan data karena tunduk pada latensi pemrosesan data Analytics . Anda kemungkinan besar akan mengalami keterlambatan ini dengan pengguna baru, yang biasanya didaftarkan ke audiens yang memenuhi syarat 24-48 jam setelah pembuatan, atau untuk audiens yang baru dibuat .
Properti pengguna Untuk teks:
mengandung,
tidak mengandung,
sama persis,
mengandung regex

Untuk nomor:
<, ≤, =, ≥, >
Properti pengguna Analytics digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen, dengan berbagai opsi untuk memilih nilai properti pengguna.

Di klien, Anda hanya dapat menyetel nilai string untuk properti pengguna. Untuk kondisi yang menggunakan operator numerik, layanan Remote Config mengonversi nilai properti pengguna yang sesuai menjadi integer/float.
Saat menggunakan operator berisi regex , Anda dapat membuat ekspresi reguler dalam format RE2 . Ekspresi reguler Anda dapat cocok dengan semua atau sebagian dari string versi target. Anda juga dapat menggunakan jangkar ^ dan $ untuk mencocokkan awal, akhir, atau keseluruhan string target.
Negara/Wilayah T/A Satu atau beberapa negara atau wilayah digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen.
Bahasa T/A Satu atau beberapa bahasa dan lokal digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen.
Pertama buka Lebih dari
Kurang dari
Di antara
Menargetkan pengguna berdasarkan pertama kali mereka membuka aplikasi Anda, ditentukan dalam hari.
Keterlibatan aplikasi terakhir Lebih dari
Kurang dari
Di antara
Menargetkan pengguna berdasarkan terakhir kali mereka berinteraksi dengan aplikasi Anda, ditentukan dalam hari.

Metrik Pengujian A/B

Saat membuat eksperimen, Anda memilih metrik utama, atau metrik sasaran , yang digunakan untuk menentukan varian pemenang. Anda juga harus melacak metrik lain untuk membantu Anda lebih memahami performa setiap varian eksperimen dan melacak tren penting yang mungkin berbeda untuk setiap varian, seperti retensi pengguna, stabilitas aplikasi, dan pendapatan pembelian dalam aplikasi. Anda dapat melacak hingga lima metrik non-sasaran dalam eksperimen Anda.

Misalnya, Anda telah menambahkan pembelian dalam aplikasi baru ke aplikasi dan ingin membandingkan keefektifan dua pesan "dorongan" yang berbeda. Dalam hal ini, Anda mungkin memutuskan untuk memilih menetapkan pendapatan Pembelian sebagai metrik sasaran karena Anda ingin varian yang menang mewakili notifikasi yang menghasilkan pendapatan pembelian dalam aplikasi tertinggi. Dan karena Anda juga ingin melacak varian mana yang menghasilkan lebih banyak konversi di masa mendatang dan mempertahankan pengguna, Anda dapat menambahkan hal berikut di metrik Lainnya untuk dilacak :

  • Estimasi pendapatan total untuk melihat bagaimana gabungan pembelian dalam aplikasi dan pendapatan iklan berbeda di antara kedua varian
  • Retensi (1 hari) , Retensi (2-3 hari) , Retensi (4-7 hari) untuk melacak retensi pengguna harian/mingguan Anda

Tabel berikut memberikan detail tentang bagaimana metrik sasaran dan metrik lainnya dihitung.

Metrik sasaran

Metrik Keterangan
Pengguna bebas crash Persentase pengguna yang tidak mengalami error di aplikasi Anda yang terdeteksi oleh Firebase Crashlytics SDK selama eksperimen.
Taksiran pendapatan iklan Taksiran penghasilan iklan.
Taksiran pendapatan total Nilai gabungan untuk pembelian dan taksiran pendapatan iklan.
Pendapatan pembelian Nilai gabungan untuk semua peristiwa purchase dan in_app_purchase .
Retensi (1 hari) Jumlah pengguna yang kembali ke aplikasi Anda setiap hari.
Retensi (2-3 hari) Jumlah pengguna yang kembali ke aplikasi Anda dalam 2-3 hari.
Retensi (4-7 hari) Jumlah pengguna yang kembali ke aplikasi Anda dalam 4-7 hari.
Retensi (8-14 hari) Jumlah pengguna yang kembali ke aplikasi Anda dalam 8-14 hari.
Retensi (15+ hari) Jumlah pengguna yang kembali ke aplikasi Anda 15 hari atau lebih setelah terakhir kali menggunakannya.
first_open Peristiwa Analytics yang terpicu saat pengguna pertama kali membuka aplikasi setelah menginstal atau menginstalnya kembali. Digunakan sebagai bagian dari corong konversi.

Metrik lainnya

Metrik Keterangan
notification_dismiss Peristiwa Analytics yang terpicu saat notifikasi yang dikirim oleh Notifications Composer ditutup (khusus Android).
notification_receive Peristiwa Analytics yang terpicu saat notifikasi yang dikirim oleh penulis Notifications diterima saat aplikasi berada di latar belakang (khusus Android).
os_update Peristiwa Analytics yang melacak saat sistem operasi perangkat diperbarui ke versi baru. Untuk mempelajari lebih lanjut, lihat Peristiwa yang dikumpulkan secara otomatis .
screen_view Peristiwa Analytics yang melacak layar yang dilihat dalam aplikasi Anda. Untuk mempelajari lebih lanjut, lihat Melacak Tampilan Layar .
session_start Peristiwa Analytics yang menghitung sesi pengguna di aplikasi Anda. Untuk mempelajari lebih lanjut, lihat Acara yang dikumpulkan secara otomatis .

Ekspor data BigQuery

Anda dapat mengakses semua data analitik yang terkait dengan pengujian A/B di BigQuery . BigQuery memungkinkan Anda menganalisis data menggunakan BigQuery SQL, mengekspornya ke penyedia cloud lain, atau menggunakan data untuk model ML kustom Anda. Lihat Menautkan BigQuery ke Firebase untuk informasi lebih lanjut.

Untuk memanfaatkan sepenuhnya ekspor data BigQuery, project Firebase harus menggunakan paket harga bayar sesuai penggunaan "Blaze". Biaya BigQuery untuk menyimpan data, sisipan streaming, dan membuat kueri data. Memuat dan mengekspor data tidak dikenai biaya. Lihat Harga BigQuery , atau kotak pasir BigQuery untuk informasi lebih lanjut.

Untuk memulai, pastikan project Firebase Anda ditautkan ke BigQuery. Pilih Setelan > Setelan Proyek dari bilah navigasi kiri, lalu pilih Integrasi > BigQuery > Tautan . Halaman ini menampilkan opsi untuk melakukan ekspor data analitik BiqQuery untuk semua aplikasi dalam proyek.

Untuk mengkueri data analitik untuk eksperimen:

  1. Dari daftar eksperimen aktif Anda, pilih eksperimen yang diinginkan untuk membuka laman hasil eksperimen.
  2. Dari menu konteks di panel Ikhtisar eksperimen , pilih Kueri data eksperimen (opsi ini tidak tersedia untuk proyek pada tingkat tanpa biaya) .

    Ini akan membuka penyusun kueri konsol BigQuery dengan kueri contoh yang dibuat secara otomatis dari data eksperimen yang dimuat sebelumnya untuk ulasan Anda. Dalam kueri ini, eksperimen Anda dikodekan sebagai properti pengguna dengan nama eksperimen di kunci dan varian eksperimen di nilainya.

  3. Di penyusun kueri, pilih Jalankan kueri. Hasil ditampilkan di panel bawah.

Perhatikan bahwa, karena data Firebase di BigQuery hanya diperbarui sekali sehari, data yang tersedia di halaman eksperimen mungkin lebih baru daripada data yang tersedia di konsol BigQuery.