Catch up on highlights from Firebase at Google I/O 2023. Learn more

หน้านี้ได้รับการแปลโดย Cloud Translation API

สร้างการทดสอบการกำหนดค่าระยะไกลของ Firebase ด้วยการทดสอบ A/B

เมื่อคุณใช้ Firebase Remote Config เพื่อปรับใช้การตั้งค่าสำหรับแอปพลิเคชันที่มีฐานผู้ใช้ที่ใช้งานอยู่ คุณต้องแน่ใจว่าคุณทำถูกต้อง คุณสามารถใช้การทดสอบ A/B Testing เพื่อระบุสิ่งต่อไปนี้ได้ดีที่สุด:

วิธีที่ดีที่สุดในการใช้คุณลักษณะเพื่อเพิ่มประสิทธิภาพประสบการณ์ของผู้ใช้ บ่อยครั้งเกินไป นักพัฒนาแอปไม่รู้ว่าผู้ใช้ของตนไม่ชอบฟีเจอร์ใหม่หรือประสบการณ์ผู้ใช้ที่อัปเดต จนกว่าคะแนนของแอปใน App Store จะลดลง การทดสอบ A/B สามารถช่วยวัดว่าผู้ใช้ของคุณชอบคุณลักษณะรูปแบบใหม่ๆ หรือชอบแอปที่มีอยู่ในปัจจุบันหรือไม่ นอกจากนี้ การรักษาผู้ใช้ส่วนใหญ่ของคุณให้อยู่ในกลุ่มพื้นฐานทำให้มั่นใจได้ว่าฐานผู้ใช้ส่วนใหญ่ของคุณสามารถใช้แอปของคุณต่อไปได้โดยไม่ประสบกับการเปลี่ยนแปลงพฤติกรรมหรือรูปลักษณ์จนกว่าการทดสอบจะสิ้นสุดลง
วิธีที่ดีที่สุดในการเพิ่มประสิทธิภาพประสบการณ์ของผู้ใช้เพื่อเป้าหมายทางธุรกิจ บางครั้งคุณกำลังใช้การเปลี่ยนแปลงผลิตภัณฑ์เพื่อเพิ่มเมตริกให้ได้สูงสุด เช่น รายได้หรือการรักษาผู้ใช้ ด้วยการทดสอบ A/B คุณจะกำหนดวัตถุประสงค์ทางธุรกิจ และ Firebase จะทำการวิเคราะห์ทางสถิติเพื่อพิจารณาว่าตัวแปรมีประสิทธิภาพดีกว่าเกณฑ์พื้นฐานสำหรับวัตถุประสงค์ที่คุณเลือกหรือไม่

ในการทดสอบ A/B ของคุณลักษณะต่างๆ ด้วยเกณฑ์พื้นฐาน ให้ทำดังต่อไปนี้:

สร้างการทดสอบของคุณ
ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ
จัดการการทดสอบของคุณ

สร้างการทดสอบ

การทดสอบ Remote Config ช่วยให้คุณประเมินตัวแปรต่างๆ บน พารามิเตอร์ Remote Config อย่างน้อยหนึ่งพารามิเตอร์

ลงชื่อเข้าใช้ คอนโซล Firebase และยืนยันว่าเปิดใช้งาน Google Analytics ในโครงการของคุณ เพื่อให้การทดสอบเข้าถึงข้อมูล Analytics
หากคุณไม่ได้เปิดใช้ Google Analytics เมื่อสร้างโครงการ คุณสามารถเปิดใช้งานได้ในแท็บ การผสานรวม ซึ่งคุณสามารถเข้าถึงได้โดยใช้ > การตั้งค่าโครงการ ใน คอนโซล Firebase
ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
คลิก สร้างการทดสอบ จากนั้นเลือก การกำหนดค่าระยะไกล เมื่อได้รับแจ้งสำหรับบริการที่คุณต้องการทดสอบ
ป้อน ชื่อ และ คำอธิบาย ที่ไม่บังคับสำหรับการทดสอบของคุณ แล้วคลิก ถัดไป
กรอกข้อมูลในฟิลด์ การกำหนดเป้าหมาย โดยเลือกแอปที่ใช้การทดสอบของคุณก่อน นอกจากนี้ คุณยังสามารถกำหนดเป้าหมายกลุ่มย่อยของผู้ใช้ของคุณเพื่อเข้าร่วมการทดสอบของคุณโดยคลิก และ จากนั้นเลือกตัวเลือกจากรายการต่อไปนี้:
- เวอร์ชัน: แอปของคุณอย่างน้อยหนึ่งเวอร์ชัน
- หมายเลขบิลด์: รหัสเวอร์ชันของแอป
- ภาษา: อย่างน้อยหนึ่งภาษาและภาษาที่ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
- ประเทศ/ภูมิภาค: อย่างน้อยหนึ่งประเทศหรือภูมิภาคสำหรับการเลือกผู้ใช้ที่ควรรวมไว้ในการทดสอบ
- ผู้ชมของผู้ใช้: ผู้ชม Analytics ใช้เพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
- พร็อพเพอร์ตี้ผู้ใช้: พร็อพเพอร์ตี้ผู้ใช้ Analytics อย่างน้อย 1 รายการสำหรับเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
- เปิดครั้งแรก: กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเคยเปิดแอปของคุณ
  การกำหนดเป้าหมายผู้ใช้ตามเวลาเปิดครั้งแรกจะใช้งานได้หลังจากที่คุณเลือกแอป Android หรือ iOS ขณะนี้รองรับโดย Remote Config SDK เวอร์ชันต่อไปนี้: แพลตฟอร์ม Apple SDK v9.0.0+ และ Android SDK v21.1.1+ (Firebase BoM v30.3.0+)
  ต้องมีการเปิดใช้การวิเคราะห์ในไคลเอนต์ในระหว่างเหตุการณ์เปิดครั้งแรก
หมายเหตุ: เนื่องจาก เวลาแฝงในการประมวลผลข้อมูล ของ Google Analytics การทดสอบที่กำหนดเป้าหมายผู้ชมผู้ใช้ Analytics อาจต้องใช้เวลามากขึ้นในการรวบรวมข้อมูล หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับตัวเลือกนี้และตัวเลือกการกำหนดเป้าหมายอื่นๆ โปรดดูที่ การกำหนดเป้าหมายผู้ใช้
กำหนด เปอร์เซ็นต์ของผู้ใช้เป้าหมาย: ป้อนเปอร์เซ็นต์ของฐานผู้ใช้แอปของคุณที่ตรงกับเกณฑ์ที่กำหนดภายใต้ ผู้ใช้เป้าหมาย ที่คุณต้องการแบ่งเท่าๆ กันระหว่างพื้นฐานและตัวแปรอย่างน้อยหนึ่งรายการในการทดสอบของคุณ ซึ่งอาจเป็นเปอร์เซ็นต์ใดก็ได้ระหว่าง 0.01% ถึง 100% ผู้ใช้จะได้รับการสุ่มให้เข้าร่วมการทดสอบแต่ละรายการ รวมถึงการทดสอบที่ซ้ำกัน
หรือตั้งค่าเหตุการณ์การเปิดใช้งานเพื่อให้แน่ใจว่าเฉพาะข้อมูลจากผู้ใช้ที่เรียกใช้เหตุการณ์ Analytics บางอย่างเป็นครั้งแรกเท่านั้นที่จะถูกนับในการทดสอบของคุณ โปรดทราบว่าผู้ใช้ ทั้งหมด ที่ตรงกับพารามิเตอร์การกำหนดเป้าหมายของคุณจะได้รับค่าการทดลองการกำหนดค่าระยะไกล แต่เฉพาะผู้ที่เรียกเหตุการณ์การเปิดใช้งานเท่านั้นที่จะรวมอยู่ในผลการทดสอบของคุณ
เพื่อให้แน่ใจว่าการทดสอบถูกต้อง ตรวจสอบให้แน่ใจว่าเหตุการณ์ที่คุณเลือกเกิดขึ้น หลังจากที่ แอปของคุณเปิดใช้งานค่าการกำหนดค่าที่ดึงมา นอกจากนี้ ไม่สามารถใช้เหตุการณ์ต่อไปนี้ได้ เนื่องจากเหตุการณ์เหล่านี้มักจะเกิดขึ้นก่อนที่จะเปิดใช้งานค่าที่ดึงมา:
- app_install
- app_remove
- app_update
- dynamic_link_first_open
สำหรับ เป้าหมาย ของการทดสอบ เลือกเมตริกหลักที่จะติดตาม และเพิ่มเมตริกอื่นๆ ที่ต้องการจากรายการแบบเลื่อนลง ซึ่งรวมถึงวัตถุประสงค์ในตัว (การซื้อ รายได้ การรักษาผู้ใช้ที่ปราศจากข้อขัดข้อง เป็นต้น) เหตุการณ์ Conversion ของ Analytics และเหตุการณ์ Analytics อื่นๆ เมื่อเสร็จแล้ว ให้คลิก ถัดไป
ในส่วน ตัวแปร คุณจะเลือกพื้นฐานและตัวแปรอย่างน้อยหนึ่งรายการสำหรับการทดสอบ ใช้รายการ เลือกหรือสร้างใหม่ เพื่อเพิ่มพารามิเตอร์อย่างน้อยหนึ่งรายการเพื่อทดสอบ คุณสร้างพารามิเตอร์ที่ไม่เคยใช้ในคอนโซล Firebase มาก่อนได้ แต่ต้องมีอยู่ในแอปจึงจะมีผล คุณสามารถทำขั้นตอนนี้ซ้ำเพื่อเพิ่มหลายพารามิเตอร์ในการทดสอบของคุณ
(ไม่บังคับ) หากต้องการเพิ่มตัวแปรมากกว่าหนึ่งรายการในการทดสอบ ให้คลิก เพิ่มตัวแปรอื่น
เปลี่ยนพารามิเตอร์อย่างน้อยหนึ่งรายการสำหรับตัวแปรเฉพาะ พารามิเตอร์ที่ไม่เปลี่ยนแปลงจะเหมือนกันสำหรับผู้ใช้ที่ไม่ได้รวมอยู่ในการทดสอบ
ขยาย น้ำหนักของตัวแปร เพื่อดูหรือเปลี่ยนน้ำหนักของตัวแปรสำหรับการทดสอบ โดยค่าเริ่มต้น ตัวแปรแต่ละรายการจะมีน้ำหนักเท่ากัน โปรดทราบว่าน้ำหนักที่ไม่สม่ำเสมออาจเพิ่มเวลาในการรวบรวมข้อมูลและ ไม่สามารถเปลี่ยนแปลงน้ำหนักได้หลังจากเริ่มการทดสอบ
คลิก ตรวจสอบ เพื่อบันทึกการทดสอบของคุณ

คุณได้รับอนุญาตให้ทำการทดลองได้สูงสุด 300 รายการต่อโครงการ ซึ่งอาจประกอบด้วยการทดสอบที่ทำงานอยู่สูงสุด 24 รายการ โดยที่เหลือเป็นแบบร่างหรือเสร็จสมบูรณ์แล้ว

ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ

สำหรับการติดตั้ง Firebase แต่ละครั้ง คุณสามารถเรียกค้นโทเค็นการตรวจสอบสิทธิ์การติดตั้งที่เชื่อมโยงกับการติดตั้งได้ คุณสามารถใช้โทเค็นนี้เพื่อทดสอบรูปแบบการทดสอบเฉพาะเจาะจงบนอุปกรณ์ทดสอบที่ติดตั้งแอปของคุณ ในการตรวจสอบความถูกต้องของการทดสอบบนอุปกรณ์ทดสอบ ให้ทำดังต่อไปนี้:

รับโทเค็นการตรวจสอบการติดตั้งดังต่อไปนี้:

สวิฟต์

Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
  if let error = error {
    print("Error fetching token: \(error)")
    return
  }
  guard let result = result else { return }
  print("Installation auth token: \(result.authToken)")
})

วัตถุประสงค์-C

[[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

Java

FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});MainActivity.java

Kotlin+KTX

val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }MainActivity.kt

ภาษาซี++

firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

ความสามัคคี

Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
    }
  });

บนแถบการนำทางของ คอนโซล Firebase ให้คลิก การทดสอบ A/B
คลิก แบบร่าง (และ/หรือ เรียกใช้ การทดสอบการกำหนดค่าระยะไกล) วางเมาส์เหนือการทดสอบ คลิกเมนูบริบท ( ) จากนั้นคลิก จัดการอุปกรณ์ทดสอบ
ป้อนโทเค็นการตรวจสอบสิทธิ์การติดตั้งสำหรับอุปกรณ์ทดสอบ และเลือกตัวแปรการทดสอบเพื่อส่งไปยังอุปกรณ์ทดสอบนั้น
เรียกใช้แอพและยืนยันว่าได้รับตัวแปรที่เลือกบนอุปกรณ์ทดสอบ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการติดตั้ง Firebase โปรดดู ที่จัดการการติดตั้ง Firebase

จัดการการทดสอบของคุณ

ไม่ว่าคุณจะสร้างการทดสอบด้วย Remote Config, เครื่องมือสร้างการแจ้งเตือน หรือ Firebase In-App Messaging คุณก็สามารถตรวจสอบความถูกต้องและเริ่มการทดสอบ ตรวจสอบการทดสอบในขณะที่ดำเนินการ และเพิ่มจำนวนผู้ใช้ที่รวมอยู่ในการทดสอบที่กำลังทำงานอยู่

เมื่อการทดสอบของคุณเสร็จสิ้น คุณสามารถจดบันทึกการตั้งค่าที่ใช้โดยตัวแปรที่ชนะ จากนั้นจึงเปิดตัวการตั้งค่าเหล่านั้นกับผู้ใช้ทั้งหมด หรือคุณสามารถเรียกใช้การทดสอบอื่น

เริ่มการทดสอบ

ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
คลิก แบบร่าง แล้วคลิกชื่อการทดสอบของคุณ
ในการตรวจสอบว่าแอปของคุณมีผู้ใช้ที่จะรวมอยู่ในการทดสอบของคุณ ให้ขยายรายละเอียดฉบับร่างและตรวจสอบตัวเลขที่มากกว่า 0% ในส่วน การกำหนดเป้าหมายและการกระจาย (เช่น 1% ของผู้ใช้ที่ตรงกับเกณฑ์ )
หากต้องการเปลี่ยนการทดสอบ ให้คลิก แก้ไข
หากต้องการเริ่มการทดสอบ คลิก เริ่มการทดสอบ คุณสามารถทำการทดสอบได้สูงสุด 24 รายการต่อโครงการในแต่ละครั้ง

ตรวจสอบการทดสอบ

เมื่อการทดสอบดำเนินไประยะหนึ่ง คุณสามารถตรวจสอบความคืบหน้าและดูว่าผลลัพธ์ของคุณเป็นอย่างไรสำหรับผู้ใช้ที่เข้าร่วมในการทดสอบของคุณจนถึงตอนนี้

ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
คลิก กำลังทำงาน จาก นั้นคลิกหรือค้นหาชื่อการทดสอบของคุณ ในหน้านี้ คุณสามารถดูสถิติที่สังเกตและแบบจำลองต่างๆ เกี่ยวกับการทดสอบที่กำลังทำงานอยู่ รวมถึงข้อมูลต่อไปนี้:
- % ความแตกต่างจากเกณฑ์พื้นฐาน : การวัดการปรับปรุงเมตริกสำหรับตัวแปรที่กำหนดเมื่อเทียบกับเกณฑ์พื้นฐาน คำนวณโดยการเปรียบเทียบช่วงค่าสำหรับตัวเลือกสินค้ากับช่วงค่าสำหรับเกณฑ์พื้นฐาน
- ความน่าจะเป็นที่จะเอาชนะเส้นฐาน : ความน่าจะเป็นโดยประมาณที่ตัวแปรที่กำหนดจะเอาชนะเส้นฐานสำหรับเมตริกที่เลือก
- observed_metric ต่อผู้ใช้ : จากผลการทดสอบ นี่คือช่วงที่คาดคะเนว่าค่าเมตริกจะลดลงเมื่อเวลาผ่านไป
- observed_metric ทั้งหมด_เมตริก : ค่าสะสมที่สังเกตได้สำหรับบรรทัดฐานหรือตัวแปร ค่านี้ใช้เพื่อวัดประสิทธิภาพของตัวแปรการทดสอบแต่ละรายการ และใช้ในการคำนวณ การปรับปรุง ช่วงของค่า ความน่าจะเป็นที่จะเอาชนะเส้นพื้นฐาน และ ความน่าจะเป็นของตัวแปรที่ดีที่สุด คอลัมน์นี้อาจมีป้ายกำกับว่า "ระยะเวลาต่อผู้ใช้" "รายได้ต่อผู้ใช้" "อัตราการรักษา" หรือ "อัตรา Conversion" ทั้งนี้ขึ้นอยู่กับเมตริกที่กำลังวัด
หลังจากที่การทดสอบของคุณดำเนินไประยะหนึ่ง (อย่างน้อย 7 วันสำหรับ FCM และ In-App Messaging หรือ 14 วันสำหรับการกำหนดค่าระยะไกล) ข้อมูลในหน้านี้จะระบุว่าตัวแปรใดเป็น "ผู้นำ" หากมี การวัดบางอย่างมาพร้อมกับแผนภูมิแท่งที่แสดงข้อมูลในรูปแบบภาพ

ทำการทดสอบกับผู้ใช้ทุกคน

หลังจากการทดสอบดำเนินไปนานพอที่คุณมี "ผู้นำ" หรือรูปแบบที่ชนะสำหรับเมตริกเป้าหมายของคุณ คุณจะเปิดตัวการทดสอบกับผู้ใช้ 100% ได้ สิ่งนี้ทำให้คุณสามารถเลือกตัวแปรที่จะเผยแพร่ไปยังผู้ใช้ทั้งหมดในอนาคต แม้ว่าการทดสอบของคุณไม่ได้สร้างผู้ชนะที่ชัดเจน คุณยังคงสามารถเลือกที่จะเปิดตัวตัวแปรให้กับผู้ใช้ทั้งหมดของคุณ

ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
คลิก เสร็จสมบูรณ์ หรือ กำลังทำงาน คลิกการทดสอบที่คุณต้องการเปิดตัวกับผู้ใช้ทั้งหมด คลิกเมนูบริบท ( ) จากนั้นคลิก เผยแพร่ตัวแปร
เริ่มการทดสอบของคุณกับผู้ใช้ทั้งหมดโดยทำอย่างใดอย่างหนึ่งต่อไปนี้:
- สำหรับการทดสอบที่ใช้ ตัวสร้างการแจ้งเตือน ให้ใช้กล่อง โต้ตอบข้อความเปิดตัว เพื่อส่งข้อความไปยังผู้ใช้เป้าหมายที่เหลือซึ่งไม่ได้เป็นส่วนหนึ่งของการทดสอบ
- สำหรับการทดสอบ Remote Config ให้เลือกตัวแปรเพื่อกำหนดค่าพารามิเตอร์ Remote Config ที่จะอัปเดต เกณฑ์การกำหนดเป้าหมายที่กำหนดไว้เมื่อสร้างการทดสอบจะเพิ่มเป็นเงื่อนไขใหม่ในเทมเพลตของคุณ เพื่อให้แน่ใจว่าการเปิดตัวจะมีผลเฉพาะกับผู้ใช้ที่กำหนดเป้าหมายโดยการทดสอบเท่านั้น หลังจากคลิก ตรวจสอบในการกำหนดค่าระยะไกล เพื่อตรวจสอบการเปลี่ยนแปลง ให้คลิก เผยแพร่การเปลี่ยนแปลง เพื่อดำเนินการเปิดตัวให้เสร็จสมบูรณ์
- สำหรับการทดสอบ การรับส่งข้อความในแอป ให้ใช้กล่องโต้ตอบเพื่อกำหนดว่าตัวแปรใดจำเป็นต้องเปิดตัวเป็นแคมเปญการรับส่งข้อความในแอปแบบสแตนด์อโลน เมื่อเลือกแล้ว คุณจะถูกนำไปที่หน้าจอเขียน FIAM เพื่อทำการเปลี่ยนแปลงใดๆ (หากจำเป็น) ก่อนเผยแพร่

ขยายการทดสอบ

หากคุณพบว่าการทดสอบไม่ได้ดึงดูดผู้ใช้มากพอสำหรับการทดสอบ A/B เพื่อประกาศความเป็นผู้นำ คุณสามารถเพิ่มการกระจายการทดสอบของคุณเพื่อเข้าถึงฐานผู้ใช้ของแอปในเปอร์เซ็นต์ที่มากขึ้น

ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
เลือกการทดสอบที่กำลังทำงานอยู่ที่คุณต้องการแก้ไข
ใน ภาพรวมของการทดสอบ คลิกเมนูบริบท ( ) แล้วคลิก แก้ไขการทดสอบที่กำลังทำงานอยู่
กล่องโต้ตอบ การกำหนดเป้าหมาย จะแสดงตัวเลือกเพื่อเพิ่มเปอร์เซ็นต์ของผู้ใช้ที่อยู่ในการทดสอบที่กำลังทำงานอยู่ เลือกตัวเลขที่มากกว่าเปอร์เซ็นต์ปัจจุบัน แล้วคลิก เผยแพร่ การทดสอบจะถูกส่งออกไปตามเปอร์เซ็นต์ของผู้ใช้ที่คุณระบุ

ทำซ้ำหรือหยุดการทดสอบ

ในส่วน การมีส่วนร่วม ของแถบการนำทาง ของคอนโซล Firebase ให้คลิก การทดสอบ A/B
คลิก เสร็จสมบูรณ์ หรือ ทำงาน อยู่ วางเมาส์เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก ทำซ้ำการทดสอบ หรือ หยุดการทดสอบ

การกำหนดเป้าหมายผู้ใช้

คุณสามารถกำหนดเป้าหมายผู้ใช้ที่จะรวมไว้ในการทดสอบของคุณโดยใช้เกณฑ์การกำหนดเป้าหมายผู้ใช้ต่อไปนี้

เกณฑ์การกำหนดเป้าหมาย	ผู้ประกอบการ	มูลค่า	บันทึก
รุ่น	ประกอบด้วย, ไม่มี ตรงเป๊ะ ประกอบด้วย regex	ป้อนค่าสำหรับแอปอย่างน้อยหนึ่งเวอร์ชันที่คุณต้องการรวมไว้ในการทดสอบ	เมื่อใช้ ตัวดำเนินการ ใดๆ ที่มี ไม่มี หรือ ตรงกับตัวดำเนินการทั้งหมด คุณสามารถระบุรายการค่าที่คั่นด้วยเครื่องหมายจุลภาค เมื่อใช้ตัวดำเนินการ ประกอบด้วย regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น จุดสิ้นสุด หรือทั้งหมดของสตริงเป้าหมาย
ผู้ชมผู้ใช้	รวมทั้งหมดของ รวมอย่างน้อยหนึ่งรายการ ไม่รวมทั้งหมดของ ไม่รวมอย่างน้อยหนึ่งรายการ	เลือกผู้ชม Analytics อย่างน้อยหนึ่งกลุ่มเพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบของคุณ	การทดสอบบางอย่างที่กำหนดเป้าหมายผู้ชม Google Analytics อาจต้องใช้เวลาสองสามวันในการรวบรวมข้อมูล เนื่องจากการทดสอบเหล่านี้ขึ้นอยู่กับ เวลาในการตอบสนองของการประมวลผลข้อมูล ของ Analytics คุณมักจะพบกับความล่าช้านี้กับผู้ใช้ใหม่ ซึ่งโดยทั่วไปจะลงทะเบียนในผู้ชมที่มีคุณสมบัติตามที่กำหนดภายใน 24-48 ชั่วโมงหลังการสร้าง หรือสำหรับ ผู้ชมที่เพิ่งสร้าง สำหรับการกำหนดค่าระยะไกล หมายความว่าแม้ว่าผู้ใช้จะมีคุณสมบัติทางเทคนิคสำหรับผู้ชม แต่ถ้า Analytics ยังไม่ได้เพิ่มผู้ใช้ไปยังผู้ชมเมื่อดำเนินการ `fetchAndActivate()` ผู้ใช้จะไม่รวมอยู่ในการทดสอบ
คุณสมบัติของผู้ใช้	สำหรับข้อความ: ประกอบด้วย, ไม่มี ตรงเป๊ะ ประกอบด้วย regex สำหรับตัวเลข: <, ≤, =, ≥, >	พร็อพเพอร์ตี้ผู้ใช้ของ Analytics ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ โดยมีตัวเลือกมากมายสำหรับการเลือกค่าพร็อพเพอร์ตี้ผู้ใช้ บนไคลเอนต์ คุณสามารถตั้งค่าสตริงสำหรับคุณสมบัติผู้ใช้เท่านั้น สำหรับเงื่อนไขที่ใช้ตัวดำเนินการตัวเลข บริการ Remote Config จะแปลงค่าของคุณสมบัติผู้ใช้ที่เกี่ยวข้องเป็นจำนวนเต็ม/ทศนิยม	เมื่อใช้ตัวดำเนินการ ประกอบด้วย regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น จุดสิ้นสุด หรือทั้งหมดของสตริงเป้าหมาย
ประเทศ/ภูมิภาค	ไม่มีข้อมูล	ใช้อย่างน้อยหนึ่งประเทศหรือภูมิภาคเพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
ภาษา	ไม่มีข้อมูล	ภาษาและตำแหน่งที่ตั้งอย่างน้อยหนึ่งภาษาใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
เปิดครั้งแรก	ก่อน หลังจาก	กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่เปิดแอปของคุณ: เลือก ผู้ใช้ใหม่ เพื่อกำหนดเป้าหมายผู้ใช้ที่เปิดแอปของคุณเป็นคนแรกหลังจากวันที่และเวลาในอนาคตที่ระบุ เลือก ช่วงเวลา เพื่อกำหนดเป้าหมายผู้ใช้ที่เปิดแอปของคุณเป็นครั้งแรกภายในช่วงก่อนหรือหลังวันที่และเวลาที่คุณระบุ รวมเงื่อนไข ก่อน และ หลัง เพื่อกำหนดเป้าหมายผู้ใช้ภายในช่วงเวลาที่กำหนด	การกำหนดเป้าหมายผู้ใช้โดยการเปิดครั้งแรกจะใช้งานได้หลังจากที่คุณเลือกแอป Android หรือ iOS ขณะนี้รองรับโดย Remote Config SDK เวอร์ชันต่อไปนี้: แพลตฟอร์ม Apple SDK v9.0.0+ และ Android SDK v21.1.1+ (Firebase BoM v30.3.0+) ต้องมีการเปิดใช้การวิเคราะห์ในไคลเอนต์ในระหว่างเหตุการณ์เปิดครั้งแรก

เมตริกการทดสอบ A/B

เมื่อคุณสร้างการทดสอบ คุณจะต้องเลือกเมตริกหลักหรือ เป้าหมาย ที่ใช้กำหนดตัวแปรที่ชนะ นอกจากนี้ คุณควรติดตามเมตริกอื่นๆ เพื่อช่วยให้คุณเข้าใจประสิทธิภาพของตัวแปรทดสอบแต่ละรายการได้ดีขึ้น และติดตามแนวโน้มที่สำคัญที่อาจแตกต่างกันไปสำหรับแต่ละตัวแปร เช่น การรักษาผู้ใช้ ความเสถียรของแอป และรายได้จากการซื้อในแอป คุณสามารถติดตามเมตริกที่ไม่ใช่เป้าหมายได้สูงสุดห้ารายการในการทดสอบของคุณ

ตัวอย่างเช่น สมมติว่าคุณใช้การกำหนดค่าระยะไกลเพื่อเปิดโฟลว์เกมที่แตกต่างกันสองรายการในแอปของคุณ และต้องการเพิ่มประสิทธิภาพสำหรับการซื้อในแอปและรายได้จากโฆษณา แต่คุณยังต้องการติดตามความเสถียรและการรักษาผู้ใช้ของแต่ละตัวแปรด้วย ในกรณีนี้ คุณอาจพิจารณาเลือก รายได้รวมโดยประมาณ เป็นเมตริกเป้าหมายของคุณ เนื่องจากรายได้รวมจากการซื้อในแอปและรายได้จากโฆษณา จากนั้นสำหรับ เมตริกอื่นๆ ที่จะติดตาม คุณอาจเพิ่มสิ่งต่อไปนี้:

หากต้องการติดตามการรักษาผู้ใช้รายวันและรายสัปดาห์ ให้เพิ่ม การรักษาผู้ใช้ (2-3 วัน) และ การรักษาผู้ใช้ (4-7 วัน)
หากต้องการเปรียบเทียบความเสถียรระหว่างโฟลว์เกมทั้งสอง ให้เพิ่ม ผู้ใช้ที่ไม่มีข้อขัดข้อง
หากต้องการดูรายละเอียดเพิ่มเติมของรายได้แต่ละประเภท ให้เพิ่ม รายได้จากการซื้อ และ รายได้จากโฆษณาโดยประมาณ

ตารางต่อไปนี้แสดงรายละเอียดเกี่ยวกับวิธีคำนวณเมตริกเป้าหมายและเมตริกอื่นๆ

เมตริกเป้าหมาย

เมตริก	คำอธิบาย
ผู้ใช้ที่ไม่ขัดข้อง	เปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อผิดพลาดในแอปของคุณที่ Firebase Crashlytics SDK ตรวจพบในระหว่างการทดสอบ
รายได้โฆษณาโดยประมาณ	รายได้โฆษณาโดยประมาณ
รายได้รวมโดยประมาณ	มูลค่ารวมสำหรับการซื้อและรายได้โฆษณาโดยประมาณ
รายได้จากการซื้อ	มูลค่ารวมสำหรับ `purchase` ทั้งหมดและกิจกรรม `in_app_purchase`
การเก็บรักษา (1 วัน)	จำนวนผู้ใช้ที่กลับมาที่แอปของคุณในแต่ละวัน
การเก็บรักษา (2-3 วัน)	จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 2-3 วัน
การเก็บรักษา (4-7 วัน)	จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 4-7 วัน
การเก็บรักษา (8-14 วัน)	จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 8-14 วัน
การเก็บรักษา (15+ วัน)	จำนวนผู้ใช้ที่กลับมาที่แอปของคุณหลังจากใช้งานครั้งล่าสุด 15 วันขึ้นไป
first_open	เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อผู้ใช้เปิดแอปครั้งแรกหลังจากติดตั้งหรือติดตั้งใหม่อีกครั้ง ใช้เป็นส่วนหนึ่งของช่องทางการแปลง

เมตริกอื่นๆ

เมตริก	คำอธิบาย
การแจ้งเตือน_ปิด	เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือน (Android เท่านั้น)
การแจ้งเตือน_รับ	เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อได้รับการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือนในขณะที่แอปอยู่ในพื้นหลัง (Android เท่านั้น)
os_update	เหตุการณ์ Analytics ที่ติดตามเมื่อระบบปฏิบัติการของอุปกรณ์ได้รับการอัปเดตเป็นเวอร์ชันใหม่ หากต้องการเรียนรู้เพิ่มเติม โปรดดู เหตุการณ์ที่รวบรวมโดยอัตโนมัติ
screen_view	เหตุการณ์ Analytics ที่ติดตามหน้าจอที่ดูภายในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม ดูที่ ติดตามการดูหน้าจอ
session_start	เหตุการณ์ Analytics ที่นับเซสชันของผู้ใช้ในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดู เหตุการณ์ที่รวบรวมโดยอัตโนมัติ

การส่งออกข้อมูล BigQuery

คุณเข้าถึงข้อมูลการวิเคราะห์ทั้งหมดที่เกี่ยวข้องกับการทดสอบ A/B ได้ใน BigQuery BigQuery ช่วยให้คุณวิเคราะห์ข้อมูลโดยใช้ BigQuery SQL ส่งออกไปยังผู้ให้บริการระบบคลาวด์รายอื่น หรือใช้ข้อมูลสำหรับโมเดล ML ที่กำหนดเอง ดู ลิงก์ BigQuery กับ Firebase สำหรับข้อมูลเพิ่มเติม

เพื่อใช้ประโยชน์จากการส่งออกข้อมูล BigQuery อย่างเต็มที่ โปรเจ็กต์ Firebase ควรใช้แผนการกำหนดราคาแบบจ่ายตามการใช้งาน "Blaze" BigQuery จะเรียกเก็บเงินสำหรับการจัดเก็บข้อมูล สตรีมแทรก และการสืบค้นข้อมูล การโหลดและส่งออกข้อมูลไม่มีค่าใช้จ่าย ดู ราคา BigQuery หรือ แซนด์บ็อกซ์ BigQuery สำหรับข้อมูลเพิ่มเติม

ในการเริ่มต้น ให้ตรวจสอบว่าโปรเจ็กต์ Firebase ลิงก์กับ BigQuery เลือก การตั้งค่า > การตั้งค่าโครงการ จากแถบนำทางด้านซ้าย จากนั้นเลือก การผสานรวม > BigQuery > ลิงก์ หน้านี้แสดงตัวเลือกในการส่งออกข้อมูลการวิเคราะห์ BiqQuery สำหรับแอปทั้งหมดในโครงการ

ในการสืบค้นข้อมูลการวิเคราะห์สำหรับการทดสอบ:

จากรายการ การทดสอบที่ใช้งาน อยู่ ให้เลือกการทดสอบที่ต้องการเพื่อเปิดหน้าผลการทดสอบ
จากเมนูบริบท ในบาน หน้าต่างภาพรวมการทดสอบ เลือก สืบค้นข้อมูลการทดสอบ (ตัวเลือกนี้ไม่พร้อมใช้งานสำหรับโครงการในระดับที่ไม่มีค่าใช้จ่าย)
ซึ่งจะเปิดตัวสร้างข้อความค้นหาของคอนโซล BigQuery พร้อมตัวอย่างข้อความค้นหาที่สร้างขึ้นโดยอัตโนมัติของข้อมูลการทดสอบที่โหลดไว้ล่วงหน้าเพื่อให้คุณตรวจทาน ในข้อความค้นหานี้ การทดสอบของคุณจะถูกเข้ารหัสเป็นพร็อพเพอร์ตี้ผู้ใช้โดยมีชื่อการทดสอบอยู่ในคีย์ และตัวแปรการทดสอบอยู่ในค่า
ในตัวสร้างคิวรี เลือก รันคิวรี ผลลัพธ์จะแสดงในบานหน้าต่างด้านล่าง

โปรดทราบว่า เนื่องจากข้อมูล Firebase ใน BigQuery อัปเดตวันละครั้งเท่านั้น ข้อมูลที่มีอยู่ในหน้าทดสอบจึงอาจเป็นปัจจุบันมากกว่าข้อมูลที่มีในคอนโซล BigQuery