สร้างการทดสอบการรับส่งข้อความด้วยการทดสอบ A/B

เมื่อคุณเข้าถึงผู้ใช้ของคุณหรือเริ่มต้นแคมเปญการตลาดใหม่ คุณต้องแน่ใจว่าได้ทำสิ่งที่ถูกต้อง การทดสอบ A/B สามารถช่วยคุณค้นหาถ้อยคำและการนำเสนอที่เหมาะสมที่สุดโดยการทดสอบรูปแบบข้อความในส่วนที่เลือกของฐานผู้ใช้ของคุณ ไม่ว่าเป้าหมายของคุณคือการรักษาผู้ใช้หรือ Conversion ที่ดีขึ้นในข้อเสนอ การทดสอบ A/B สามารถทำการวิเคราะห์ทางสถิติเพื่อพิจารณาว่ารูปแบบข้อความมีประสิทธิภาพเหนือกว่าเกณฑ์พื้นฐานสำหรับวัตถุประสงค์ที่คุณเลือกหรือไม่

หากต้องการทดสอบ A/B ตัวแปรฟีเจอร์ด้วยพื้นฐาน ให้ทำดังต่อไปนี้:

  1. สร้างการทดลองของคุณ
  2. ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ
  3. จัดการการทดสอบของคุณ

สร้างการทดลอง

การทดสอบที่ใช้ตัวเขียนการแจ้งเตือนช่วยให้คุณประเมินตัวแปรหลายรายการในข้อความแจ้งเตือนเดียว

  1. ลงชื่อเข้าใช้ คอนโซล Firebase และตรวจสอบว่าได้เปิดใช้ Google Analytics ในโปรเจ็กต์ของคุณแล้ว เพื่อให้การทดสอบเข้าถึงข้อมูล Analytics ได้

    หากคุณไม่ได้เปิดใช้งาน Google Analytics เมื่อสร้างโปรเจ็กต์ คุณสามารถเปิดใช้งานได้ในแท็บ การรวมระบบ ซึ่งคุณสามารถเข้าถึงได้โดยใช้ > การตั้งค่าโปรเจ็กต์ ใน คอนโซล Firebase

  2. ในส่วน Engage ของแถบนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B

  3. คลิก สร้างการทดสอบ จากนั้นเลือก การแจ้งเตือน เมื่อได้รับแจ้งเกี่ยวกับบริการที่คุณต้องการทดสอบ

  4. ป้อน ชื่อ และ คำอธิบาย เพิ่มเติมสำหรับการทดสอบของคุณ และคลิก ถัดไป

  5. กรอกข้อมูลในช่อง การกำหนดเป้าหมาย ขั้นแรกให้เลือกแอปที่ใช้การทดสอบของคุณ คุณยังสามารถกำหนดเป้าหมายกลุ่มย่อยของผู้ใช้ของคุณเพื่อเข้าร่วมในการทดสอบของคุณได้โดยเลือกตัวเลือกที่มีดังต่อไปนี้:

    • เวอร์ชัน: แอปของคุณอย่างน้อย 1 เวอร์ชัน
    • ผู้ชมผู้ใช้: ผู้ชม Analytics ที่ใช้ในการกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • พร็อพเพอร์ตี้ผู้ใช้: พร็อพเพอร์ตี้ผู้ใช้ Analytics อย่างน้อย 1 รายการสำหรับการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • ประเทศ/ภูมิภาค: อย่างน้อย 1 ประเทศหรือภูมิภาคสำหรับการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • ภาษาของอุปกรณ์: ภาษาและตำแหน่งที่ตั้งอย่างน้อย 1 ภาษาที่ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • เปิดครั้งแรก: กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเปิดแอปของคุณ
    • การมีส่วนร่วมในแอปครั้งล่าสุด: กำหนดเป้าหมายผู้ใช้ตามครั้งสุดท้ายที่พวกเขามีส่วนร่วมกับแอปของคุณ

  6. กำหนด เปอร์เซ็นต์ของผู้ใช้เป้าหมาย: เลือกเปอร์เซ็นต์ของฐานผู้ใช้แอปของคุณที่ตรงกับเกณฑ์ที่กำหนดไว้ภายใต้ ผู้ใช้เป้าหมาย ที่คุณต้องการแบ่งเท่าๆ กันระหว่างเส้นฐานและตัวแปรอย่างน้อย 1 ตัวในการทดสอบของคุณ ซึ่งอาจเป็นเปอร์เซ็นต์ใดก็ได้ระหว่าง 0.01% ถึง 100% เปอร์เซ็นต์จะถูกสุ่มกำหนดใหม่ให้กับผู้ใช้สำหรับการทดสอบแต่ละครั้ง รวมถึงการทดสอบที่ซ้ำกัน

  7. ใน ส่วนตัว เลือก ให้พิมพ์ข้อความที่จะส่งไปยังกลุ่มพื้นฐานในช่อง ป้อนข้อความ หากต้องการไม่ส่งข้อความไปยังกลุ่มพื้นฐาน ให้เว้นช่องนี้ว่างไว้

  8. (ไม่บังคับ) หากต้องการเพิ่มตัวแปรมากกว่าหนึ่งรายการให้กับการทดสอบของคุณ คลิก เพิ่มตัวแปร โดยค่าเริ่มต้น การทดสอบจะมีพื้นฐาน 1 รายการและตัวแปร 1 รายการ

  9. (ไม่บังคับ) ป้อนชื่อให้กับตัวแปรแต่ละตัวในการทดสอบของคุณเพื่อแทนที่ชื่อ ตัวแปร A , ตัวแปร B ฯลฯ

  10. กำหนดเมตริกเป้าหมายสำหรับการทดสอบของคุณเพื่อใช้เมื่อประเมินรูปแบบต่างๆ ของการทดสอบพร้อมกับเมตริกเพิ่มเติมที่ต้องการจากรายการแบบเลื่อนลง เมตริกเหล่านี้ประกอบด้วยวัตถุประสงค์ในตัว (การมีส่วนร่วม การซื้อ รายได้ การรักษาผู้ใช้ ฯลฯ) เหตุการณ์ Conversion ของ Analytics และเหตุการณ์ Analytics อื่นๆ

  11. เลือกตัวเลือกสำหรับข้อความของคุณ:

    • วันที่จัดส่ง: เลือก ส่งทันที เพื่อเริ่มการทดสอบของคุณทันทีเมื่อบันทึก หรือ กำหนดเวลา เพื่อระบุเวลาที่จะเริ่มการทดสอบของคุณในอนาคต
    • ตัวเลือกขั้นสูง: หากต้องการเลือกตัวเลือกขั้นสูงสำหรับการแจ้งเตือนทั้งหมดที่รวมอยู่ในการทดสอบของคุณ ให้ขยาย ตัวเลือกขั้นสูง จากนั้นเปลี่ยนตัวเลือกข้อความที่แสดง

  12. คลิก ตรวจสอบ เพื่อบันทึกการทดสอบของคุณ

คุณได้รับอนุญาตให้ทำการทดลองได้สูงสุด 300 รายการต่อโปรเจ็กต์ ซึ่งอาจประกอบด้วยการทดลองที่ทำงานอยู่สูงสุด 24 รายการ ที่เหลือเป็นแบบร่างหรือเสร็จสมบูรณ์

ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ

สำหรับการติดตั้ง Firebase แต่ละรายการ คุณสามารถเรียกข้อมูลโทเค็นการลงทะเบียน FCM ที่เชื่อมโยงอยู่ได้ คุณสามารถใช้โทเค็นนี้เพื่อทดสอบตัวแปรการทดสอบที่เฉพาะเจาะจงบนอุปกรณ์ทดสอบที่ติดตั้งแอปของคุณไว้ หากต้องการตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ ให้ทำดังต่อไปนี้:

  1. รับโทเค็นการลงทะเบียน FCM ดังนี้:

    สวิฟท์

    Messaging.messaging().token { token, error in
  if let error = error {
    print("Error fetching FCM registration token: \(error)")
  } else if let token = token {
    print("FCM registration token: \(token)")
    self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
  }
}

    วัตถุประสงค์-C

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
  if (error != nil) {
    NSLog(@"Error getting FCM registration token: %@", error);
  } else {
    NSLog(@"FCM registration token: %@", token);
    self.fcmRegTokenMessage.text = token;
  }
}];

    Java

    FirebaseMessaging.getInstance().getToken()
    .addOnCompleteListener(new OnCompleteListener<String>() {
        @Override
        public void onComplete(@NonNull Task<String> task) {
          if (!task.isSuccessful()) {
            Log.w(TAG, "Fetching FCM registration token failed", task.getException());
            return;
          }

          // Get new FCM registration token
          String token = task.getResult();

          // Log and toast
          String msg = getString(R.string.msg_token_fmt, token);
          Log.d(TAG, msg);
          Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
        }
    });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
    if (!task.isSuccessful) {
        Log.w(TAG, "Fetching FCM registration token failed", task.exception)
        return@OnCompleteListener
    }

    // Get new FCM registration token
    val token = task.result

    // Log and toast
    val msg = getString(R.string.msg_token_fmt, token)
    Log.d(TAG, msg)
    Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
})

    ซี++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
    }
  });
  2. บนแถบนำทาง คอนโซล Firebase คลิก การทดสอบ A/B
  3. คลิก แบบร่าง วางเมาส์เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก จัดการอุปกรณ์ทดสอบ
  4. ป้อนโทเค็น FCM สำหรับอุปกรณ์ทดสอบ และเลือกตัวแปรการทดสอบที่จะส่งไปยังอุปกรณ์ทดสอบนั้น
  5. เรียกใช้แอปและยืนยันว่าได้รับตัวแปรที่เลือกบนอุปกรณ์ทดสอบ

จัดการการทดสอบของคุณ

ไม่ว่าคุณจะสร้างการทดสอบด้วยการกำหนดค่าระยะไกล เครื่องมือสร้างการแจ้งเตือน หรือการส่งข้อความในแอป Firebase คุณจะสามารถตรวจสอบและเริ่มการทดสอบ ตรวจสอบการทดสอบของคุณในขณะที่กำลังทำงาน และเพิ่มจำนวนผู้ใช้ที่รวมอยู่ในการทดสอบที่กำลังดำเนินการอยู่

เมื่อการทดสอบเสร็จสิ้น คุณจะจดบันทึกการตั้งค่าที่เวอร์ชันที่ชนะใช้ จากนั้นจึงเปิดตัวการตั้งค่าเหล่านั้นให้กับผู้ใช้ทุกคน หรือคุณสามารถทำการทดสอบอื่นได้

เริ่มการทดสอบ

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก แบบร่าง จาก นั้นคลิกชื่อการทดสอบของคุณ
  3. หากต้องการตรวจสอบว่าแอปของคุณมีผู้ใช้ที่จะรวมอยู่ในการทดสอบ ให้ขยายรายละเอียดฉบับร่างและตรวจสอบตัวเลขที่มากกว่า 0% ในส่วน การกำหนดเป้าหมายและการจัดจำหน่าย (เช่น 1% ของผู้ใช้ที่ตรงกับเกณฑ์ )
  4. หากต้องการเปลี่ยนการทดสอบของคุณ คลิก แก้ไข
  5. หากต้องการเริ่มต้นการทดสอบของคุณ คลิก เริ่มการทดสอบ คุณสามารถทำการทดลองได้สูงสุด 24 รายการต่อโปรเจ็กต์ในแต่ละครั้ง

ติดตามการทดลอง

เมื่อการทดสอบดำเนินไประยะหนึ่งแล้ว คุณสามารถตรวจสอบความคืบหน้าและดูว่าผลลัพธ์ของคุณเป็นอย่างไรสำหรับผู้ใช้ที่เข้าร่วมการทดสอบจนถึงตอนนี้

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B

  2. คลิก กำลังทำงาน จาก นั้นคลิกหรือค้นหาชื่อการทดสอบของคุณ ในหน้านี้ คุณสามารถดูสถิติต่างๆ ที่สังเกตและจำลองได้เกี่ยวกับการทดสอบที่ทำงานอยู่ ซึ่งรวมถึงข้อมูลต่อไปนี้:

    • % ความแตกต่างจากเกณฑ์พื้นฐาน : การวัดการปรับปรุงเมตริกสำหรับตัวแปรที่กำหนดเมื่อเปรียบเทียบกับเกณฑ์พื้นฐาน คำนวณโดยการเปรียบเทียบช่วงค่าของตัวเลือกสินค้ากับช่วงค่าของข้อมูลพื้นฐาน
    • ความน่าจะเป็นที่จะสูงกว่าเส้นพื้นฐาน : ความน่าจะเป็นโดยประมาณที่ตัวแปรที่กำหนดจะมากกว่าเส้นพื้นฐานสำหรับเมตริกที่เลือก
    • observed_metric ต่อผู้ใช้ : จากผลการทดสอบ นี่คือช่วงที่คาดการณ์ว่าค่าเมตริกจะตกเมื่อเวลาผ่านไป
    • ผลรวม observed_metric : ค่าสะสมที่สังเกตได้สำหรับเส้นพื้นฐานหรือตัวแปร ค่านี้ใช้เพื่อวัดว่ารูปแบบการทดสอบแต่ละรายการทำงานได้ดีเพียงใด และใช้ในการคำนวณ การปรับปรุง ช่วงของค่า ความน่า จะเป็นที่จะผ่านเกณฑ์พื้นฐาน และ ความน่าจะเป็นที่จะเป็นตัวแปรที่ดีที่สุด คอลัมน์นี้อาจมีป้ายกำกับว่า "ระยะเวลาต่อผู้ใช้" "รายได้ต่อผู้ใช้" "อัตราการรักษา" หรือ "อัตรา Conversion" ทั้งนี้ขึ้นอยู่กับเมตริกที่กำลังวัด

  3. หลังจากการทดสอบของคุณดำเนินไประยะหนึ่ง (อย่างน้อย 7 วันสำหรับ FCM และการรับส่งข้อความในแอป หรือ 14 วันสำหรับการกำหนดค่าระยะไกล) ข้อมูลในหน้านี้จะระบุว่าตัวแปรใด (หากมี) ที่เป็น "ผู้นำ" การวัดบางอย่างจะมาพร้อมกับแผนภูมิแท่งที่แสดงข้อมูลในรูปแบบภาพ

เปิดตัวการทดสอบให้กับผู้ใช้ทุกคน

หลังจากที่การทดสอบดำเนินไปนานพอที่จะทำให้คุณมี "ผู้นำ" หรือรูปแบบที่ชนะสำหรับเมตริกเป้าหมายของคุณ คุณจะเผยแพร่การทดสอบให้กับผู้ใช้ได้ 100% ซึ่งจะทำให้คุณสามารถเลือกตัวแปรที่จะเผยแพร่ให้กับผู้ใช้ทุกคนได้นับจากนี้ แม้ว่าการทดสอบของคุณไม่ได้สร้างผู้ชนะที่ชัดเจน คุณยังคงเลือกที่จะเผยแพร่ตัวแปรให้กับผู้ใช้ทั้งหมดของคุณได้

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสมบูรณ์ หรือ กำลังทำงานอยู่ คลิกการทดสอบที่คุณต้องการเผยแพร่ต่อผู้ใช้ทั้งหมด คลิกเมนูตามบริบท ( ) เปิดตัวรูปแบบต่างๆ

  3. เปิดตัวการทดสอบของคุณกับผู้ใช้ทุกคนโดยทำอย่างใดอย่างหนึ่งต่อไปนี้:

    • สำหรับการทดสอบที่ใช้ ตัวเขียนการแจ้งเตือน ให้ใช้กล่อง โต้ตอบข้อความเปิดตัว เพื่อส่งข้อความไปยังผู้ใช้เป้าหมายที่เหลือซึ่งไม่ได้เป็นส่วนหนึ่งของการทดสอบ
    • สำหรับการทดลอง การกำหนดค่าระยะไกล ให้เลือกตัวแปรเพื่อกำหนดค่าพารามิเตอร์การกำหนดค่าระยะไกลที่จะอัปเดต เกณฑ์การกำหนดเป้าหมายที่กำหนดไว้เมื่อสร้างการทดสอบจะถูกเพิ่มเป็นเงื่อนไขใหม่ในเทมเพลตของคุณ เพื่อให้แน่ใจว่าการเปิดตัวจะส่งผลต่อผู้ใช้ที่เป็นเป้าหมายของการทดสอบเท่านั้น หลังจากคลิก ตรวจสอบในการกำหนดค่าระยะไกล เพื่อตรวจสอบการเปลี่ยนแปลง ให้คลิก เผยแพร่การเปลี่ยนแปลง เพื่อดำเนินการเปิดตัวให้เสร็จสิ้น
    • สำหรับการทดสอบ การรับส่งข้อความในแอป ให้ใช้กล่องโต้ตอบเพื่อพิจารณาว่าเวอร์ชันใดที่ต้องเปิดตัวเป็นแคมเปญการรับส่งข้อความในแอปแบบสแตนด์อโลน เมื่อเลือกแล้ว คุณจะถูกนำไปที่หน้าจอเขียนของ FIAM เพื่อทำการเปลี่ยนแปลง (หากจำเป็น) ก่อนเผยแพร่

ขยายการทดสอบ

หากคุณพบว่าการทดสอบดึงดูดผู้ใช้สำหรับการทดสอบ A/B ไม่เพียงพอต่อการประกาศผู้นำ คุณสามารถเพิ่มการกระจายการทดสอบเพื่อเข้าถึงฐานผู้ใช้ของแอปในเปอร์เซ็นต์ที่มากขึ้น

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. เลือกการทดสอบที่ทำงานอยู่ที่คุณต้องการแก้ไข
  3. ใน ภาพรวมการทดสอบ คลิกเมนูบริบท ( ) จากนั้นคลิก แก้ไขการทดสอบที่ทำงานอยู่
  4. กล่องโต้ตอบ การกำหนดเป้าหมาย จะแสดงตัวเลือกในการเพิ่มเปอร์เซ็นต์ของผู้ใช้ที่อยู่ในการทดสอบที่ทำงานอยู่ เลือกตัวเลขที่มากกว่าเปอร์เซ็นต์ปัจจุบันแล้วคลิก เผยแพร่ การทดสอบจะถูกผลักออกไปตามเปอร์เซ็นต์ของผู้ใช้ที่คุณระบุ

ทำซ้ำหรือหยุดการทดสอบ

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสมบูรณ์ หรือ กำลังทำงาน อยู่ วางตัวชี้ไว้เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก ทำซ้ำการทดสอบ หรือ หยุดการทดสอบ

การกำหนดเป้าหมายผู้ใช้

คุณสามารถกำหนดเป้าหมายผู้ใช้ที่จะรวมไว้ในการทดสอบของคุณโดยใช้เกณฑ์การกำหนดเป้าหมายผู้ใช้ต่อไปนี้

เกณฑ์การกำหนดเป้าหมาย ผู้ดำเนินการ มูลค่า บันทึก
เวอร์ชัน ประกอบด้วย,
ไม่มี
ตรงทุกประการ
มีนิพจน์ทั่วไป		 ป้อนค่าสำหรับเวอร์ชันแอปอย่างน้อย 1 เวอร์ชันที่คุณต้องการรวมไว้ในการทดสอบ

เมื่อใช้ตัว ดำเนินการประกอบด้วย , ไม่มี หรือ ตรงกับ ตัวดำเนินการทุกประการ คุณสามารถระบุรายการค่าที่คั่นด้วยเครื่องหมายจุลภาคได้

เมื่อใช้ตัวดำเนินการ regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 ได้ นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น สิ้นสุด หรือทั้งหมดของสตริงเป้าหมายได้

ผู้ชมของผู้ใช้ รวมถึงทั้งหมด
ประกอบด้วยอย่างน้อยหนึ่งรายการ
ไม่รวมทั้งหมด
ไม่รวมอย่างน้อยหนึ่งรายการ		 เลือกผู้ชม Analytics อย่างน้อยหนึ่งรายการเพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบของคุณ การทดสอบบางอย่างที่กำหนดเป้าหมายผู้ชม Google Analytics อาจต้องใช้เวลาสองสามวันในการรวบรวมข้อมูล เนื่องจากการทดสอบเหล่านี้ขึ้นอยู่กับ เวลาในการตอบสนองในการประมวลผลข้อมูล ของ Analytics คุณมีแนวโน้มที่จะเผชิญกับความล่าช้านี้กับผู้ใช้ใหม่ ซึ่งโดยทั่วไปจะลงทะเบียนเป็นผู้ชมที่มีคุณสมบัติตามที่กำหนดภายใน 24-48 ชั่วโมงหลังการสร้าง หรือสำหรับ ผู้ชมที่สร้างขึ้นล่าสุด
คุณสมบัติผู้ใช้ สำหรับข้อความ:
ประกอบด้วย,
ไม่มี
ตรงทุกประการ
มีนิพจน์ทั่วไป

สำหรับตัวเลข:
<, ≤, =, ≥, >		 พร็อพเพอร์ตี้ผู้ใช้ของ Analytics ใช้ในการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ โดยมีตัวเลือกมากมายในการเลือกค่าพร็อพเพอร์ตี้ผู้ใช้

บนไคลเอนต์ คุณสามารถตั้งค่าสตริงสำหรับคุณสมบัติผู้ใช้เท่านั้น สำหรับเงื่อนไขที่ใช้ตัวดำเนินการตัวเลข บริการการกำหนดค่าระยะไกลจะแปลงค่าของคุณสมบัติผู้ใช้ที่เกี่ยวข้องให้เป็นจำนวนเต็ม/ทศนิยม		 เมื่อใช้ตัวดำเนินการ regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 ได้ นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น สิ้นสุด หรือทั้งหมดของสตริงเป้าหมายได้
ประเทศ/ภูมิภาค ไม่มี อย่างน้อย 1 ประเทศหรือภูมิภาคที่ใช้ในการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
ภาษา ไม่มี ภาษาและสถานที่อย่างน้อยหนึ่งรายการที่ใช้ในการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
เปิดครั้งแรก มากกว่า
น้อยกว่า
ระหว่าง		 กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเปิดแอปของคุณ โดยระบุเป็นวัน
การมีส่วนร่วมกับแอปครั้งล่าสุด มากกว่า
น้อยกว่า
ระหว่าง		 กำหนดเป้าหมายผู้ใช้ตามครั้งสุดท้ายที่พวกเขามีส่วนร่วมกับแอปของคุณ ซึ่งระบุเป็นวัน

ตัวชี้วัดการทดสอบ A/B

เมื่อคุณสร้างการทดสอบ คุณจะต้องเลือกเมตริกหลักหรือ เป้าหมาย ที่ใช้ในการระบุรูปแบบที่ชนะ นอกจากนี้ คุณควรติดตามเมตริกอื่นๆ เพื่อช่วยให้คุณเข้าใจประสิทธิภาพของการทดสอบแต่ละรูปแบบได้ดีขึ้น และติดตามแนวโน้มที่สำคัญซึ่งอาจแตกต่างกันไปในแต่ละรูปแบบ เช่น การคงผู้ใช้ไว้ ความเสถียรของแอป และรายได้จากการซื้อในแอป คุณสามารถติดตามการวัดที่ไม่ใช่เป้าหมายได้สูงสุดห้ารายการในการทดสอบของคุณ

ตัวอย่างเช่น สมมติว่าคุณได้เพิ่มการซื้อในแอปใหม่ลงในแอปของคุณ และต้องการเปรียบเทียบประสิทธิภาพของข้อความ "กระตุ้น" ที่ต่างกันสองข้อความ ในกรณีนี้ คุณอาจตัดสินใจเลือกตั้ง ค่ารายได้จากการซื้อ เป็นเมตริกเป้าหมาย เนื่องจากคุณต้องการให้รูปแบบที่ชนะเป็นตัวแทนของการแจ้งเตือนที่ทำให้เกิดรายได้จากการซื้อในแอปสูงสุด และเนื่องจากคุณต้องการติดตามด้วยว่ารูปแบบใดส่งผลให้เกิด Conversion และผู้ใช้ที่คงอยู่ในอนาคตมากขึ้น คุณอาจเพิ่มสิ่งต่อไปนี้ใน เมตริกอื่นๆ ที่จะติดตาม

  • รายได้รวมโดยประมาณ เพื่อดูว่าการซื้อในแอปและรายได้จากโฆษณารวมกันแตกต่างกันอย่างไรใน 2 รูปแบบ
  • การรักษาผู้ใช้ (1 วัน) , การรักษาผู้ใช้ (2-3 วัน) , การรักษาผู้ใช้ (4-7 วัน) เพื่อติดตามการรักษาผู้ใช้รายวัน/รายสัปดาห์

ตารางต่อไปนี้ให้รายละเอียดเกี่ยวกับวิธีการคำนวณตัวชี้วัดเป้าหมายและตัวชี้วัดอื่นๆ

ตัวชี้วัดเป้าหมาย

เมตริก คำอธิบาย
ผู้ใช้ที่ปราศจากข้อขัดข้อง เปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อผิดพลาดในแอปของคุณที่ Firebase Crashlytics SDK ตรวจพบในระหว่างการทดสอบ
รายได้จากโฆษณาโดยประมาณ รายได้จากโฆษณาโดยประมาณ
รายได้รวมโดยประมาณ มูลค่ารวมสำหรับการซื้อและรายได้จากโฆษณาโดยประมาณ
รายได้ซื้อ มูลค่ารวมสำหรับเหตุการณ์ purchase และ in_app_purchase ทั้งหมด
การเก็บรักษา (1 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณในแต่ละวัน
การเก็บรักษา (2-3 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 2-3 วัน
การเก็บรักษา (4-7 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 4-7 วัน
การเก็บรักษา (8-14 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 8-14 วัน
การเก็บรักษา (15+ วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณหลังจากใช้งานครั้งล่าสุดเป็นเวลา 15 วันขึ้นไป
first_open เหตุการณ์ Analytics ที่เกิดขึ้นเมื่อผู้ใช้เปิดแอปเป็นครั้งแรกหลังจากติดตั้งหรือติดตั้งใหม่ ใช้เป็นส่วนหนึ่งของช่องทางการแปลง

ตัวชี้วัดอื่นๆ

เมตริก คำอธิบาย
การแจ้งเตือน_ยกเลิก เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อมีการปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือน (Android เท่านั้น)
การแจ้งเตือน_รับ เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อได้รับการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือนในขณะที่แอปอยู่ในเบื้องหลัง (Android เท่านั้น)
os_update เหตุการณ์ Analytics ที่ติดตามเมื่อระบบปฏิบัติการของอุปกรณ์ได้รับการอัปเดตเป็นเวอร์ชันใหม่ หากต้องการเรียนรู้เพิ่มเติม โปรดดู เหตุการณ์ที่รวบรวมโดยอัตโนมัติ
screen_view เหตุการณ์ Analytics ที่ติดตามหน้าจอที่ดูภายในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดู ติดตามการดูหน้าจอ
เซสชั่น_เริ่มต้น เหตุการณ์ Analytics ที่นับเซสชันผู้ใช้ในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดูที่ เหตุการณ์ที่รวบรวมโดยอัตโนมัติ

การส่งออกข้อมูล BigQuery

คุณสามารถเข้าถึงข้อมูลการวิเคราะห์ทั้งหมดที่เกี่ยวข้องกับการทดสอบ A/B ของคุณได้ใน BigQuery BigQuery ช่วยให้คุณวิเคราะห์ข้อมูลโดยใช้ BigQuery SQL, ส่งออกไปยังผู้ให้บริการระบบคลาวด์รายอื่น หรือใช้ข้อมูลสำหรับโมเดล ML ที่คุณกำหนดเอง ดู ลิงก์ BigQuery กับ Firebase สำหรับข้อมูลเพิ่มเติม

หากต้องการใช้ประโยชน์จากการส่งออกข้อมูล BigQuery อย่างเต็มที่ โปรเจ็กต์ Firebase ควรใช้แผนการกำหนดราคาแบบ "Blaze" แบบจ่ายตามการใช้งาน BigQuery เรียกเก็บเงินสำหรับการจัดเก็บข้อมูล การแทรกสตรีม และการสืบค้นข้อมูล การโหลดและส่งออกข้อมูลไม่มีค่าใช้จ่าย ดู ราคา BigQuery หรือ แซนด์บ็อกซ์ BigQuery สำหรับข้อมูลเพิ่มเติม

ในการเริ่มต้น ตรวจสอบให้แน่ใจว่าโปรเจ็กต์ Firebase ของคุณลิงก์กับ BigQuery เลือก การตั้งค่า > การตั้งค่าโปรเจ็กต์ จากเมนูการนำทางด้านซ้าย จากนั้นเลือก การผสานรวม > BigQuery > ลิงก์ หน้านี้แสดงตัวเลือกในการส่งออกข้อมูลการวิเคราะห์ BiqQuery สำหรับแอปทั้งหมดในโปรเจ็กต์

หากต้องการค้นหาข้อมูลการวิเคราะห์สำหรับการทดสอบ ให้ทำดังนี้

  1. จากรายการ การทดสอบที่ใช้งาน อยู่ เลือกการทดสอบเพื่อเปิดหน้าผลการทดสอบ

  2. จากเมนูบริบท ในบาน หน้าต่างภาพรวมการทดสอบ ให้เลือก สืบค้นข้อมูลการทดสอบ (ตัวเลือกนี้ใช้ไม่ได้กับโปรเจ็กต์ในระดับที่ไม่มีค่าใช้จ่าย)

    ซึ่งจะเปิดตัวสร้างคำค้นหาของคอนโซล BigQuery พร้อมด้วยตัวอย่างคำค้นหาข้อมูลการทดสอบที่สร้างขึ้นอัตโนมัติซึ่งโหลดไว้ล่วงหน้าเพื่อให้คุณตรวจสอบ ในการค้นหานี้ การทดสอบของคุณได้รับการเข้ารหัสเป็นพร็อพเพอร์ตี้ผู้ใช้โดยมีชื่อการทดสอบอยู่ในคีย์และตัวแปรการทดสอบอยู่ในค่า

  3. ในตัวเขียนแบบสอบถาม ให้เลือก เรียกใช้แบบสอบถาม ผลลัพธ์จะแสดงในบานหน้าต่างด้านล่าง

โปรดทราบว่าเนื่องจากข้อมูล Firebase ใน BigQuery ได้รับการอัปเดตเพียงวันละครั้ง ข้อมูลที่มีอยู่ในหน้าการทดสอบจึงอาจเป็นข้อมูลล่าสุดมากกว่าข้อมูลที่มีอยู่ในคอนโซล BigQuery