Catch up on highlights from Firebase at Google I/O 2023. Learn more

สร้างการทดสอบการรับส่งข้อความด้วยการทดสอบ A/B

เมื่อคุณติดต่อผู้ใช้ของคุณหรือเริ่มแคมเปญการตลาดใหม่ คุณต้องแน่ใจว่าคุณทำถูกต้องแล้ว การทดสอบ A/B สามารถช่วยให้คุณค้นหาข้อความและการนำเสนอที่เหมาะสมที่สุดโดยการทดสอบรูปแบบข้อความในส่วนที่เลือกของฐานผู้ใช้ของคุณ ไม่ว่าเป้าหมายของคุณคือการรักษาลูกค้าที่ดีขึ้นหรือการแปลงข้อเสนอ การทดสอบ A/B สามารถทำการวิเคราะห์ทางสถิติเพื่อพิจารณาว่ารูปแบบข้อความมีประสิทธิภาพดีกว่าเกณฑ์พื้นฐานสำหรับวัตถุประสงค์ที่คุณเลือกหรือไม่

ในการทดสอบ A/B ของคุณลักษณะต่างๆ ด้วยเกณฑ์พื้นฐาน ให้ทำดังต่อไปนี้:

  1. สร้างการทดสอบของคุณ
  2. ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ
  3. จัดการการทดสอบของคุณ

สร้างการทดสอบ

การทดลองที่ใช้ตัวสร้างการแจ้งเตือนช่วยให้คุณประเมินตัวแปรหลายตัวในข้อความแจ้งเตือนเดียว

  1. ลงชื่อเข้าใช้ คอนโซล Firebase และยืนยันว่าเปิดใช้งาน Google Analytics ในโครงการของคุณ เพื่อให้การทดสอบเข้าถึงข้อมูล Analytics

    หากคุณไม่ได้เปิดใช้ Google Analytics เมื่อสร้างโครงการ คุณสามารถเปิดใช้งานได้ในแท็บ การผสานรวม ซึ่งคุณสามารถเข้าถึงได้โดยใช้ > การตั้งค่าโครงการ ใน คอนโซล Firebase

  2. ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B

  3. คลิก สร้างการทดสอบ จากนั้นเลือก การแจ้งเตือน เมื่อได้รับแจ้งสำหรับบริการที่คุณต้องการทดสอบ

  4. ป้อน ชื่อ และ คำอธิบาย ที่ไม่บังคับสำหรับการทดสอบของคุณ แล้วคลิก ถัดไป

  5. กรอกข้อมูลในฟิลด์ การกำหนดเป้าหมาย โดยเลือกแอปที่ใช้การทดสอบของคุณก่อน นอกจากนี้ คุณยังสามารถกำหนดเป้าหมายกลุ่มย่อยของผู้ใช้ของคุณเพื่อเข้าร่วมการทดสอบของคุณโดยเลือกตัวเลือกที่มีดังต่อไปนี้:

    • เวอร์ชัน: แอปของคุณอย่างน้อยหนึ่งเวอร์ชัน
    • ผู้ชมของผู้ใช้: ผู้ชม Analytics ใช้เพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • พร็อพเพอร์ตี้ผู้ใช้: พร็อพเพอร์ตี้ผู้ใช้ Analytics อย่างน้อย 1 รายการสำหรับเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • ประเทศ/ภูมิภาค: อย่างน้อยหนึ่งประเทศหรือภูมิภาคสำหรับการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • ภาษาของอุปกรณ์: อย่างน้อยหนึ่งภาษาและภาษาที่ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • เปิดครั้งแรก: กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเคยเปิดแอปของคุณ
    • การมีส่วนร่วมกับแอปครั้งล่าสุด: กำหนดเป้าหมายผู้ใช้ตามครั้งล่าสุดที่พวกเขามีส่วนร่วมกับแอปของคุณ
  6. กำหนด เปอร์เซ็นต์ของผู้ใช้เป้าหมาย: เลือกเปอร์เซ็นต์ของฐานผู้ใช้แอปของคุณที่ตรงกับเกณฑ์ที่กำหนดภายใต้ ผู้ใช้เป้าหมาย ที่คุณต้องการแบ่งเท่าๆ กันระหว่างพื้นฐานและตัวแปรอย่างน้อยหนึ่งรายการในการทดสอบของคุณ ซึ่งอาจเป็นเปอร์เซ็นต์ใดก็ได้ระหว่าง 0.01% ถึง 100% เปอร์เซ็นต์จะถูกกำหนดใหม่แบบสุ่มให้กับผู้ใช้สำหรับการทดสอบแต่ละครั้ง รวมถึงการทดสอบที่ซ้ำกัน

  7. ในส่วน ตัวแปร ให้พิมพ์ข้อความเพื่อส่งไปยังกลุ่มพื้นฐานในฟิลด์ ป้อนข้อความ หากต้องการไม่ส่งข้อความถึงกลุ่มพื้นฐาน ให้เว้นฟิลด์นี้ว่างไว้

  8. (ไม่บังคับ) หากต้องการเพิ่มตัวแปรมากกว่าหนึ่งรายการในการทดสอบ ให้คลิก เพิ่มตัวแปร โดยค่าเริ่มต้น การทดสอบจะมีพื้นฐานหนึ่งรายการและตัวแปรหนึ่งรายการ

  9. (ไม่บังคับ) ป้อนชื่อสำหรับแต่ละตัวแปรในการทดสอบของคุณเพื่อแทนที่ชื่อ ตัวแปร A , ตัวแปร B เป็นต้น

  10. กำหนดเมตริกเป้าหมายสำหรับการทดสอบของคุณเพื่อใช้เมื่อประเมินรูปแบบการทดสอบพร้อมกับเมตริกเพิ่มเติมที่ต้องการจากรายการแบบเลื่อนลง เมตริกเหล่านี้ประกอบด้วยวัตถุประสงค์ในตัว (การมีส่วนร่วม การซื้อ รายได้ การรักษาผู้ใช้ ฯลฯ) เหตุการณ์ Conversion ของ Analytics และเหตุการณ์ Analytics อื่นๆ

  11. เลือกตัวเลือกสำหรับข้อความของคุณ:

    • วันที่จัดส่ง: เลือก ส่งทันที เพื่อเปิดใช้การทดสอบทันทีเมื่อบันทึก หรือ เลือก กำหนดเวลา เพื่อระบุเวลาที่จะเริ่มการทดสอบของคุณในอนาคต
    • ตัวเลือกขั้นสูง: หากต้องการเลือกตัวเลือกขั้นสูงสำหรับการแจ้งเตือนทั้งหมดที่รวมอยู่ในการทดสอบของคุณ ให้ขยาย ตัวเลือกขั้นสูง แล้วเปลี่ยนตัวเลือกข้อความใดๆ ในรายการ
  12. คลิก ตรวจสอบ เพื่อบันทึกการทดสอบของคุณ

คุณได้รับอนุญาตให้ทำการทดลองได้สูงสุด 300 รายการต่อโครงการ ซึ่งอาจประกอบด้วยการทดสอบที่ทำงานอยู่สูงสุด 24 รายการ โดยที่เหลือเป็นแบบร่างหรือเสร็จสมบูรณ์แล้ว

ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ

สำหรับการติดตั้ง Firebase แต่ละครั้ง คุณสามารถเรียกค้นโทเค็นการลงทะเบียน FCM ที่เชื่อมโยงกับมันได้ คุณสามารถใช้โทเค็นนี้เพื่อทดสอบรูปแบบการทดสอบเฉพาะเจาะจงบนอุปกรณ์ทดสอบที่ติดตั้งแอปของคุณ ในการตรวจสอบความถูกต้องของการทดสอบบนอุปกรณ์ทดสอบ ให้ทำดังต่อไปนี้:

  1. รับโทเค็นการลงทะเบียน FCM ดังนี้:

    สวิฟต์

    Messaging.messaging().token { token, error in
      if let error = error {
        print("Error fetching FCM registration token: \(error)")
      } else if let token = token {
        print("FCM registration token: \(token)")
        self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
      }
    }
    

    วัตถุประสงค์-C

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
      if (error != nil) {
        NSLog(@"Error getting FCM registration token: %@", error);
      } else {
        NSLog(@"FCM registration token: %@", token);
        self.fcmRegTokenMessage.text = token;
      }
    }];
    

    Java

    FirebaseMessaging.getInstance().getToken()
        .addOnCompleteListener(new OnCompleteListener<String>() {
            @Override
            public void onComplete(@NonNull Task<String> task) {
              if (!task.isSuccessful()) {
                Log.w(TAG, "Fetching FCM registration token failed", task.getException());
                return;
              }
    
              // Get new FCM registration token
              String token = task.getResult();
    
              // Log and toast
              String msg = getString(R.string.msg_token_fmt, token);
              Log.d(TAG, msg);
              Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
            }
        });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
        if (!task.isSuccessful) {
            Log.w(TAG, "Fetching FCM registration token failed", task.exception)
            return@OnCompleteListener
        }
    
        // Get new FCM registration token
        val token = task.result
    
        // Log and toast
        val msg = getString(R.string.msg_token_fmt, token)
        Log.d(TAG, msg)
        Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
    })

    ภาษาซี++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
        

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
        }
      });
    
  2. บนแถบการนำทางของ คอนโซล Firebase ให้คลิก การทดสอบ A/B
  3. คลิก แบบร่าง วางเมาส์เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก จัดการอุปกรณ์ทดสอบ
  4. ป้อนโทเค็น FCM สำหรับอุปกรณ์ทดสอบและเลือกตัวแปรการทดสอบเพื่อส่งไปยังอุปกรณ์ทดสอบนั้น
  5. เรียกใช้แอพและยืนยันว่าได้รับตัวแปรที่เลือกบนอุปกรณ์ทดสอบ

จัดการการทดสอบของคุณ

ไม่ว่าคุณจะสร้างการทดสอบด้วย Remote Config, เครื่องมือสร้างการแจ้งเตือน หรือ Firebase In-App Messaging คุณก็สามารถตรวจสอบความถูกต้องและเริ่มการทดสอบ ตรวจสอบการทดสอบในขณะที่ดำเนินการ และเพิ่มจำนวนผู้ใช้ที่รวมอยู่ในการทดสอบที่กำลังทำงานอยู่

เมื่อการทดสอบของคุณเสร็จสิ้น คุณสามารถจดบันทึกการตั้งค่าที่ใช้โดยตัวแปรที่ชนะ จากนั้นจึงเปิดตัวการตั้งค่าเหล่านั้นกับผู้ใช้ทั้งหมด หรือคุณสามารถเรียกใช้การทดสอบอื่น

เริ่มการทดสอบ

  1. ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก แบบร่าง แล้วคลิกชื่อการทดสอบของคุณ
  3. ในการตรวจสอบว่าแอปของคุณมีผู้ใช้ที่จะรวมอยู่ในการทดสอบของคุณ ให้ขยายรายละเอียดฉบับร่างและตรวจสอบตัวเลขที่มากกว่า 0% ในส่วน การกำหนดเป้าหมายและการกระจาย (เช่น 1% ของผู้ใช้ที่ตรงกับเกณฑ์ )
  4. หากต้องการเปลี่ยนการทดสอบ ให้คลิก แก้ไข
  5. หากต้องการเริ่มการทดสอบ คลิก เริ่มการทดสอบ คุณสามารถดำเนินการทดสอบได้สูงสุด 24 รายการต่อโครงการในแต่ละครั้ง

ตรวจสอบการทดสอบ

เมื่อการทดสอบดำเนินไประยะหนึ่ง คุณสามารถตรวจสอบความคืบหน้าและดูว่าผลลัพธ์ของคุณเป็นอย่างไรสำหรับผู้ใช้ที่เข้าร่วมในการทดสอบของคุณจนถึงตอนนี้

  1. ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก กำลังทำงาน จาก นั้นคลิกหรือค้นหาชื่อการทดสอบของคุณ ในหน้านี้ คุณสามารถดูสถิติที่สังเกตและแบบจำลองต่างๆ เกี่ยวกับการทดสอบที่กำลังทำงานอยู่ รวมถึงข้อมูลต่อไปนี้:

    • % ความแตกต่างจากเกณฑ์พื้นฐาน : การวัดการปรับปรุงเมตริกสำหรับตัวแปรที่กำหนดเมื่อเทียบกับเกณฑ์พื้นฐาน คำนวณโดยการเปรียบเทียบช่วงค่าสำหรับตัวเลือกสินค้ากับช่วงค่าสำหรับเกณฑ์พื้นฐาน
    • ความน่าจะเป็นที่จะเอาชนะเส้นฐาน : ความน่าจะเป็นโดยประมาณที่ตัวแปรที่กำหนดจะเอาชนะเส้นฐานสำหรับเมตริกที่เลือก
    • observed_metric ต่อผู้ใช้ : จากผลการทดสอบ นี่คือช่วงที่คาดคะเนว่าค่าเมตริกจะลดลงเมื่อเวลาผ่านไป
    • observed_metric ทั้งหมด_เมตริก : ค่าสะสมที่สังเกตได้สำหรับบรรทัดฐานหรือตัวแปร ค่านี้ใช้เพื่อวัดประสิทธิภาพของตัวแปรการทดสอบแต่ละรายการ และใช้ในการคำนวณ การปรับปรุง ช่วงของค่า ความน่าจะเป็นที่จะเอาชนะเส้นพื้นฐาน และ ความน่าจะเป็นของตัวแปรที่ดีที่สุด คอลัมน์นี้อาจมีป้ายกำกับว่า "ระยะเวลาต่อผู้ใช้" "รายได้ต่อผู้ใช้" "อัตราการรักษา" หรือ "อัตรา Conversion" ทั้งนี้ขึ้นอยู่กับเมตริกที่กำลังวัด
  3. หลังจากที่การทดสอบของคุณดำเนินไประยะหนึ่ง (อย่างน้อย 7 วันสำหรับ FCM และ In-App Messaging หรือ 14 วันสำหรับการกำหนดค่าระยะไกล) ข้อมูลในหน้านี้จะระบุว่าตัวแปรใดเป็น "ผู้นำ" หากมี การวัดบางอย่างมาพร้อมกับแผนภูมิแท่งที่แสดงข้อมูลในรูปแบบภาพ

ทำการทดสอบกับผู้ใช้ทุกคน

หลังจากการทดสอบดำเนินไปนานพอที่คุณมี "ผู้นำ" หรือรูปแบบที่ชนะสำหรับเมตริกเป้าหมายของคุณ คุณจะเปิดตัวการทดสอบกับผู้ใช้ 100% ได้ สิ่งนี้ทำให้คุณสามารถเลือกตัวแปรที่จะเผยแพร่ไปยังผู้ใช้ทั้งหมดในอนาคต แม้ว่าการทดสอบของคุณไม่ได้สร้างผู้ชนะที่ชัดเจน คุณยังคงสามารถเลือกที่จะเปิดตัวตัวแปรให้กับผู้ใช้ทั้งหมดของคุณ

  1. ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสมบูรณ์ หรือ กำลังทำงาน คลิกการทดสอบที่คุณต้องการเปิดตัวกับผู้ใช้ทั้งหมด คลิกเมนูบริบท ( ) จากนั้นคลิก เผยแพร่ตัวแปร
  3. เริ่มการทดสอบของคุณกับผู้ใช้ทั้งหมดโดยทำอย่างใดอย่างหนึ่งต่อไปนี้:

    • สำหรับการทดสอบที่ใช้ ตัวสร้างการแจ้งเตือน ให้ใช้กล่อง โต้ตอบข้อความเปิดตัว เพื่อส่งข้อความไปยังผู้ใช้เป้าหมายที่เหลือซึ่งไม่ได้เป็นส่วนหนึ่งของการทดสอบ
    • สำหรับการทดสอบ Remote Config ให้เลือกตัวแปรเพื่อกำหนดค่าพารามิเตอร์ Remote Config ที่จะอัปเดต เกณฑ์การกำหนดเป้าหมายที่กำหนดไว้เมื่อสร้างการทดสอบจะเพิ่มเป็นเงื่อนไขใหม่ในเทมเพลตของคุณ เพื่อให้แน่ใจว่าการเปิดตัวจะมีผลเฉพาะกับผู้ใช้ที่กำหนดเป้าหมายโดยการทดสอบเท่านั้น หลังจากคลิก ตรวจสอบในการกำหนดค่าระยะไกล เพื่อตรวจสอบการเปลี่ยนแปลง ให้คลิก เผยแพร่การเปลี่ยนแปลง เพื่อดำเนินการเปิดตัวให้เสร็จสมบูรณ์
    • สำหรับการทดสอบ การรับส่งข้อความในแอป ให้ใช้กล่องโต้ตอบเพื่อกำหนดว่าตัวแปรใดจำเป็นต้องเปิดตัวเป็นแคมเปญการรับส่งข้อความในแอปแบบสแตนด์อโลน เมื่อเลือกแล้ว คุณจะถูกนำไปที่หน้าจอเขียน FIAM เพื่อทำการเปลี่ยนแปลงใดๆ (หากจำเป็น) ก่อนเผยแพร่

ขยายการทดสอบ

หากคุณพบว่าการทดสอบไม่ได้ดึงดูดผู้ใช้มากพอสำหรับการทดสอบ A/B เพื่อประกาศความเป็นผู้นำ คุณสามารถเพิ่มการกระจายการทดสอบของคุณเพื่อเข้าถึงฐานผู้ใช้ของแอปในเปอร์เซ็นต์ที่มากขึ้น

  1. ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. เลือกการทดสอบที่กำลังทำงานอยู่ที่คุณต้องการแก้ไข
  3. ใน ภาพรวมของการทดสอบ คลิกเมนูบริบท ( ) แล้วคลิก แก้ไขการทดสอบที่กำลังทำงานอยู่
  4. กล่องโต้ตอบ การกำหนดเป้าหมาย จะแสดงตัวเลือกเพื่อเพิ่มเปอร์เซ็นต์ของผู้ใช้ที่อยู่ในการทดสอบที่กำลังทำงานอยู่ เลือกตัวเลขที่มากกว่าเปอร์เซ็นต์ปัจจุบัน แล้วคลิก เผยแพร่ การทดสอบจะถูกส่งออกไปตามเปอร์เซ็นต์ของผู้ใช้ที่คุณระบุ

ทำซ้ำหรือหยุดการทดสอบ

  1. ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสมบูรณ์ หรือ ทำงาน อยู่ วางเมาส์เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก ทำซ้ำการทดสอบ หรือ หยุดการทดสอบ

การกำหนดเป้าหมายผู้ใช้

คุณสามารถกำหนดเป้าหมายผู้ใช้ที่จะรวมไว้ในการทดสอบของคุณโดยใช้เกณฑ์การกำหนดเป้าหมายผู้ใช้ต่อไปนี้

เกณฑ์การกำหนดเป้าหมาย ผู้ประกอบการ มูลค่า บันทึก
รุ่น ประกอบด้วย,
ไม่มี
ตรงเป๊ะ
ประกอบด้วย regex
ป้อนค่าสำหรับแอปอย่างน้อยหนึ่งเวอร์ชันที่คุณต้องการรวมไว้ในการทดสอบ

เมื่อใช้ ตัวดำเนินการ ใดๆ ที่มี ไม่มี หรือ ตรงกับตัวดำเนินการทั้งหมด คุณสามารถระบุรายการค่าที่คั่นด้วยเครื่องหมายจุลภาค

เมื่อใช้ตัวดำเนินการ ประกอบด้วย regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น จุดสิ้นสุด หรือทั้งหมดของสตริงเป้าหมาย

ผู้ชมผู้ใช้ รวมทั้งหมดของ
รวมอย่างน้อยหนึ่งรายการ
ไม่รวมทั้งหมดของ
ไม่รวมอย่างน้อยหนึ่งรายการ
เลือกผู้ชม Analytics อย่างน้อยหนึ่งกลุ่มเพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบของคุณ การทดสอบบางอย่างที่กำหนดเป้าหมายผู้ชม Google Analytics อาจต้องใช้เวลาสองสามวันในการรวบรวมข้อมูล เนื่องจากการทดสอบเหล่านี้ขึ้นอยู่กับ เวลาในการตอบสนองของการประมวลผลข้อมูล ของ Analytics คุณมักจะพบกับความล่าช้านี้กับผู้ใช้ใหม่ ซึ่งโดยทั่วไปจะลงทะเบียนในผู้ชมที่มีคุณสมบัติตามที่กำหนดภายใน 24-48 ชั่วโมงหลังการสร้าง หรือสำหรับ ผู้ชมที่เพิ่งสร้าง
คุณสมบัติของผู้ใช้ สำหรับข้อความ:
ประกอบด้วย,
ไม่มี
ตรงเป๊ะ
ประกอบด้วย regex

สำหรับตัวเลข:
<, ≤, =, ≥, >
พร็อพเพอร์ตี้ผู้ใช้ของ Analytics ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ โดยมีตัวเลือกมากมายสำหรับการเลือกค่าพร็อพเพอร์ตี้ผู้ใช้

บนไคลเอนต์ คุณสามารถตั้งค่าสตริงสำหรับคุณสมบัติผู้ใช้เท่านั้น สำหรับเงื่อนไขที่ใช้ตัวดำเนินการตัวเลข บริการ Remote Config จะแปลงค่าของคุณสมบัติผู้ใช้ที่เกี่ยวข้องเป็นจำนวนเต็ม/ทศนิยม
เมื่อใช้ตัวดำเนินการ ประกอบด้วย regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น จุดสิ้นสุด หรือทั้งหมดของสตริงเป้าหมาย
ประเทศ/ภูมิภาค ไม่มีข้อมูล ใช้อย่างน้อยหนึ่งประเทศหรือภูมิภาคเพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
ภาษา ไม่มีข้อมูล ภาษาและตำแหน่งที่ตั้งอย่างน้อยหนึ่งภาษาใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
เปิดครั้งแรก มากกว่า
น้อยกว่า
ระหว่าง
กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเคยเปิดแอปของคุณ โดยระบุเป็นวัน
การมีส่วนร่วมกับแอปครั้งล่าสุด มากกว่า
น้อยกว่า
ระหว่าง
กำหนดเป้าหมายผู้ใช้ตามครั้งล่าสุดที่พวกเขามีส่วนร่วมกับแอปของคุณ โดยระบุเป็นวัน

เมตริกการทดสอบ A/B

เมื่อคุณสร้างการทดสอบ คุณจะต้องเลือกเมตริกหลักหรือ เป้าหมาย ที่ใช้กำหนดตัวแปรที่ชนะ นอกจากนี้ คุณควรติดตามเมตริกอื่นๆ เพื่อช่วยให้คุณเข้าใจประสิทธิภาพของตัวแปรทดสอบแต่ละรายการได้ดีขึ้น และติดตามแนวโน้มที่สำคัญที่อาจแตกต่างกันไปสำหรับแต่ละตัวแปร เช่น การรักษาผู้ใช้ ความเสถียรของแอป และรายได้จากการซื้อในแอป คุณสามารถติดตามเมตริกที่ไม่ใช่เป้าหมายได้สูงสุดห้ารายการในการทดสอบของคุณ

ตัวอย่างเช่น สมมติว่าคุณได้เพิ่มการซื้อในแอปใหม่ลงในแอปของคุณ และต้องการเปรียบเทียบประสิทธิภาพของข้อความ "nudge" สองข้อความที่แตกต่างกัน ในกรณีนี้ คุณอาจตัดสินใจเลือกตั้ง ค่ารายได้จากการซื้อ เป็นเมตริกเป้าหมาย เนื่องจากต้องการให้ตัวแปรที่ชนะแสดงการแจ้งเตือนซึ่งส่งผลให้มีรายได้จากการซื้อในแอปสูงสุด และเนื่องจากคุณต้องการติดตามด้วยว่าตัวแปรใดทำให้เกิด Conversion ในอนาคตมากขึ้นและผู้ใช้คงอยู่ คุณอาจเพิ่มสิ่งต่อไปนี้ใน เมตริกอื่นๆ เพื่อติดตาม :

  • รายได้รวมโดยประมาณ เพื่อดูว่าการซื้อในแอปและรายได้จากโฆษณาที่รวมกันของคุณแตกต่างกันอย่างไรระหว่างสองรูปแบบ
  • การเก็บรักษา (1 วัน) , การเก็บรักษา (2-3 วัน) , การเก็บรักษา (4-7 วัน) เพื่อติดตามการรักษาผู้ใช้รายวัน/รายสัปดาห์ของคุณ

ตารางต่อไปนี้แสดงรายละเอียดเกี่ยวกับวิธีคำนวณเมตริกเป้าหมายและเมตริกอื่นๆ

เมตริกเป้าหมาย

เมตริก คำอธิบาย
ผู้ใช้ที่ไม่ขัดข้อง เปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อผิดพลาดในแอปของคุณที่ Firebase Crashlytics SDK ตรวจพบในระหว่างการทดสอบ
รายได้โฆษณาโดยประมาณ รายได้โฆษณาโดยประมาณ
รายได้รวมโดยประมาณ มูลค่ารวมสำหรับการซื้อและรายได้โฆษณาโดยประมาณ
รายได้จากการซื้อ มูลค่ารวมสำหรับ purchase ทั้งหมดและกิจกรรม in_app_purchase
การเก็บรักษา (1 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณในแต่ละวัน
การเก็บรักษา (2-3 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 2-3 วัน
การเก็บรักษา (4-7 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 4-7 วัน
การเก็บรักษา (8-14 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 8-14 วัน
การเก็บรักษา (15+ วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณหลังจากใช้งานครั้งล่าสุด 15 วันขึ้นไป
first_open เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อผู้ใช้เปิดแอปครั้งแรกหลังจากติดตั้งหรือติดตั้งใหม่อีกครั้ง ใช้เป็นส่วนหนึ่งของช่องทางการแปลง

เมตริกอื่นๆ

เมตริก คำอธิบาย
การแจ้งเตือน_ปิด เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือน (Android เท่านั้น)
การแจ้งเตือน_รับ เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อได้รับการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือนในขณะที่แอปอยู่ในพื้นหลัง (Android เท่านั้น)
os_update เหตุการณ์ Analytics ที่ติดตามเมื่อระบบปฏิบัติการของอุปกรณ์ได้รับการอัปเดตเป็นเวอร์ชันใหม่ หากต้องการเรียนรู้เพิ่มเติม โปรดดู เหตุการณ์ที่รวบรวมโดยอัตโนมัติ
screen_view เหตุการณ์ Analytics ที่ติดตามหน้าจอที่ดูภายในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม ดูที่ ติดตามการดูหน้าจอ
session_start เหตุการณ์ Analytics ที่นับเซสชันของผู้ใช้ในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดู เหตุการณ์ที่รวบรวมโดยอัตโนมัติ

การส่งออกข้อมูล BigQuery

คุณเข้าถึงข้อมูลการวิเคราะห์ทั้งหมดที่เกี่ยวข้องกับการทดสอบ A/B ได้ใน BigQuery BigQuery ช่วยให้คุณวิเคราะห์ข้อมูลโดยใช้ BigQuery SQL ส่งออกไปยังผู้ให้บริการระบบคลาวด์รายอื่น หรือใช้ข้อมูลสำหรับโมเดล ML ที่กำหนดเอง ดู ลิงก์ BigQuery กับ Firebase สำหรับข้อมูลเพิ่มเติม

เพื่อใช้ประโยชน์จากการส่งออกข้อมูล BigQuery อย่างเต็มที่ โปรเจ็กต์ Firebase ควรใช้แผนการกำหนดราคาแบบจ่ายตามการใช้งาน "Blaze" BigQuery จะเรียกเก็บเงินสำหรับการจัดเก็บข้อมูล สตรีมแทรก และการสืบค้นข้อมูล การโหลดและส่งออกข้อมูลไม่มีค่าใช้จ่าย ดู ราคา BigQuery หรือ แซนด์บ็อกซ์ BigQuery สำหรับข้อมูลเพิ่มเติม

ในการเริ่มต้น ให้ตรวจสอบว่าโปรเจ็กต์ Firebase ลิงก์กับ BigQuery เลือก การตั้งค่า > การตั้งค่าโครงการ จากแถบนำทางด้านซ้าย จากนั้นเลือก การผสานรวม > BigQuery > ลิงก์ หน้านี้แสดงตัวเลือกในการส่งออกข้อมูลการวิเคราะห์ BiqQuery สำหรับแอปทั้งหมดในโครงการ

ในการสืบค้นข้อมูลการวิเคราะห์สำหรับการทดสอบ:

  1. จากรายการ การทดสอบที่ใช้งาน อยู่ ให้เลือกการทดสอบที่ต้องการเพื่อเปิดหน้าผลการทดสอบ
  2. จากเมนูบริบท ในบาน หน้าต่างภาพรวมการทดสอบ ให้เลือก สืบค้นข้อมูลการทดสอบ (ตัวเลือกนี้ไม่พร้อมใช้งานสำหรับโครงการในระดับที่ไม่มีค่าใช้จ่าย)

    ซึ่งจะเปิดตัวสร้างข้อความค้นหาของคอนโซล BigQuery พร้อมตัวอย่างข้อความค้นหาที่สร้างขึ้นโดยอัตโนมัติของข้อมูลการทดสอบที่โหลดไว้ล่วงหน้าเพื่อให้คุณตรวจทาน ในข้อความค้นหานี้ การทดสอบของคุณจะถูกเข้ารหัสเป็นพร็อพเพอร์ตี้ผู้ใช้โดยมีชื่อการทดสอบอยู่ในคีย์ และตัวแปรการทดสอบอยู่ในค่า

  3. ในตัวสร้างคิวรี เลือก รันคิวรี ผลลัพธ์จะแสดงในบานหน้าต่างด้านล่าง

โปรดทราบว่า เนื่องจากข้อมูล Firebase ใน BigQuery อัปเดตวันละครั้งเท่านั้น ข้อมูลที่มีในหน้าทดสอบจึงอาจเป็นปัจจุบันมากกว่าข้อมูลที่มีในคอนโซล BigQuery