สร้างการทดสอบการกำหนดค่าระยะไกลของ Firebase พร้อมการทดสอบ A/B

เมื่อคุณใช้ Firebase Remote Config เพื่อทำให้การตั้งค่าสำหรับ ที่มีฐานผู้ใช้ที่ใช้งานอยู่ คุณควรตรวจสอบว่า ทำความเข้าใจให้ถูกต้อง คุณใช้การทดสอบ A/B Testing เพื่อให้ได้ผลลัพธ์ดีที่สุด ให้กำหนดสิ่งต่อไปนี้

  • วิธีที่ดีที่สุดในการใช้ฟีเจอร์เพื่อเพิ่มประสิทธิภาพประสบการณ์ของผู้ใช้ ด้วย บ่อยครั้งที่นักพัฒนาแอป ไม่เรียนรู้ว่าผู้ใช้ของตนไม่ชอบคุณลักษณะใหม่หรือผู้ใช้ที่ได้รับการอัปเดต จนกว่าคะแนนของแอปใน App Store จะลดลง การทดสอบ A/B สามารถช่วยวัดว่า ผู้ใช้ชอบตัวแปรใหม่ๆ ของคุณลักษณะ หรือพวกเขา ต้องการแอปตามที่มีอยู่ นอกจากนี้ การคงผู้ใช้ส่วนใหญ่ของคุณไว้ กลุ่มฐานจะทำให้ฐานผู้ใช้ส่วนใหญ่ยังคงใช้ โดยไม่มีการเปลี่ยนแปลงลักษณะการทำงานหรือลักษณะของแอปจนกว่า การทดสอบสิ้นสุดลงแล้ว
  • วิธีที่ดีที่สุดในการเพิ่มประสิทธิภาพประสบการณ์ของผู้ใช้สำหรับเป้าหมายธุรกิจ บางครั้งคุณจะใช้การเปลี่ยนแปลงผลิตภัณฑ์เพื่อเพิ่มเมตริกให้มากที่สุด เช่น รายได้หรือการรักษาผู้ใช้ การทดสอบ A/B ช่วยให้คุณกำหนดวัตถุประสงค์ทางธุรกิจ และ Firebase จะทำการวิเคราะห์ทางสถิติเพื่อระบุว่าตัวแปรหนึ่งๆ มีประสิทธิภาพสูงกว่าเกณฑ์พื้นฐานสำหรับวัตถุประสงค์ที่คุณเลือก

ในการทดสอบ A/B ตัวแปรฟีเจอร์ด้วยเกณฑ์พื้นฐาน ให้ทำดังนี้

  1. สร้างการทดสอบ
  2. ตรวจสอบการทดสอบในอุปกรณ์ทดสอบ
  3. จัดการการทดสอบ

สร้างการทดสอบ

การทดสอบ Remote Config ช่วยให้คุณประเมินตัวแปรหลายรายการใน 1 หรือ พารามิเตอร์ Remote Config เพิ่มเติม

  1. ลงชื่อเข้าใช้ คอนโซล Firebase และยืนยันว่าได้เปิดใช้ Google Analytics ในโปรเจ็กต์แล้ว การทดสอบมีสิทธิ์เข้าถึงข้อมูล Analytics

    หากไม่ได้เปิดใช้ Google Analytics เมื่อสร้างโปรเจ็กต์ คุณจะต้อง จะเปิดใช้ได้ใน การผสานรวม ซึ่งคุณเข้าถึงได้โดยใช้ > การตั้งค่าโปรเจ็กต์ในคอนโซล Firebase

  2. ในส่วนมีส่วนร่วมของเมนูการนำทางของคอนโซล Firebase ให้คลิก A/B Testing

  3. คลิกสร้างการทดสอบ แล้วเลือก Remote Config เมื่อ สำหรับบริการที่คุณต้องการใช้ทดสอบ

  4. ป้อนชื่อและคำอธิบาย (ไม่บังคับ) ของการทดสอบ แล้วคลิก ถัดไป

  5. กรอกข้อมูลในช่องการกำหนดเป้าหมาย โดยก่อนเลือกแอปที่ใช้ คุณยังกำหนดเป้าหมายผู้ใช้กลุ่มย่อยให้เข้าร่วมใน การทดสอบโดยคลิก และ จากนั้นเลือกตัวเลือกจาก รายการต่อไปนี้

    • เวอร์ชัน: แอปอย่างน้อย 1 เวอร์ชัน
    • หมายเลขบิลด์: รหัสเวอร์ชันของแอป
    • ภาษา: ภาษาและสถานที่ตั้งที่ใช้เพื่อเลือกผู้ใช้อย่างน้อย 1 ภาษา ที่อาจรวมอยู่ในการทดสอบ
    • ประเทศ/ภูมิภาค: ประเทศหรือภูมิภาคอย่างน้อย 1 แห่งสำหรับการเลือกผู้ใช้ ควรรวมใครในการทดสอบ
    • กลุ่มเป้าหมายผู้ใช้: ใช้กลุ่มเป้าหมาย Analytics กลุ่มที่กำหนดเป้าหมายผู้ใช้ที่ อาจรวมอยู่ในการทดสอบ
    • พร็อพเพอร์ตี้ผู้ใช้: พร็อพเพอร์ตี้ผู้ใช้ Analytics อย่างน้อย 1 รายการสำหรับ การเลือกผู้ใช้ที่จะรวมไว้ในการทดสอบ

    • การเปิดครั้งแรก: กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่ผู้ใช้เปิด แอปของคุณ

      การกำหนดเป้าหมายผู้ใช้ตามเวลาเปิดครั้งแรกจะพร้อมใช้งานหลังจากที่คุณเลือก แอป Android หรือ iOS เครื่องมือนี้มีการสนับสนุนโดย SDK Remote Config เวอร์ชันต่อไปนี้: SDK แพลตฟอร์มของ Apple v9.0.0+ และ Android SDK v21.1.1 ขึ้นไป (Firebase BoM v30.3.0 ขึ้นไป)

      ต้องเปิดใช้ Analytics ในไคลเอ็นต์ด้วย กิจกรรมที่เปิดอยู่

  6. กำหนดเปอร์เซ็นต์ผู้ใช้เป้าหมาย: ป้อนเปอร์เซ็นต์ของ ฐานผู้ใช้ที่ตรงกับเกณฑ์ที่กำหนดไว้ในส่วนกำหนดเป้าหมายผู้ใช้ที่คุณต้องการ ให้แบ่งระหว่างเกณฑ์พื้นฐานกับตัวแปรอย่างน้อย 1 ตัวอย่างเท่าๆ กันใน ซึ่งอาจเป็นเปอร์เซ็นต์ใดก็ได้ระหว่าง 0.01% ถึง 100% ผู้ใช้คือ แบบสุ่มให้กับการทดสอบแต่ละครั้ง ซึ่งรวมถึงการทดสอบที่ทำซ้ำ

  7. (ไม่บังคับ) ตั้งค่าเหตุการณ์การเปิดใช้งานเพื่อให้แน่ใจว่ามีเพียงข้อมูลจากผู้ใช้เท่านั้น ที่ทริกเกอร์เหตุการณ์ Analytics เป็นครั้งแรกจะนับรวมอยู่ใน โปรดทราบว่าผู้ใช้ทั้งหมดที่ตรงกับพารามิเตอร์การกำหนดเป้าหมายของคุณจะ ได้รับ Remote Config ค่า แต่เฉพาะผู้ที่ทริกเกอร์ เหตุการณ์การเปิดใช้งานจะรวมอยู่ในผลการทดสอบด้วย

    เพื่อให้แน่ใจว่าการทดสอบที่ถูกต้อง ให้ตรวจสอบว่าเหตุการณ์ที่คุณเลือกเกิดขึ้น หลัง แอปของคุณเปิดใช้งานการกำหนดค่าที่ดึงข้อมูลมา นอกจากนี้ ไม่สามารถใช้เหตุการณ์ต่อไปนี้ เนื่องจากเหตุการณ์เหล่านี้เกิดขึ้นก่อนการดึงข้อมูลเสมอ เปิดใช้งานอยู่:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open

  8. สำหรับการทดสอบ เป้าหมาย เลือกเป้าหมายหลัก เมตริกเพื่อติดตาม และเพิ่มเมตริกอื่นๆ ที่คุณต้องการติดตามจาก รายการ ซึ่งรวมถึงวัตถุประสงค์ในตัว (การซื้อ รายได้ การรักษาผู้ใช้ ผู้ใช้ที่ไม่พบข้อขัดข้อง ฯลฯ) Analytics เหตุการณ์ Conversion และอื่นๆ Analytics กิจกรรม คลิกถัดไปเมื่อเสร็จสิ้น

  9. ในส่วนตัวแปร ให้เลือกเกณฑ์พื้นฐานและอย่างน้อย 1 รายการ ของการทดสอบอีกครั้ง ใช้รายการเลือกหรือสร้างใหม่เพื่อเพิ่มรายการ หรือพารามิเตอร์เพิ่มเติมที่จะทดสอบ คุณสามารถสร้างพารามิเตอร์ที่มี ยังไม่เคยใช้ในคอนโซล Firebase แต่ต้องมีอยู่ใน แอปเพื่อให้แอปส่งผลใดๆ ก็ได้ คุณสามารถทำขั้นตอนนี้ซ้ำเพื่อเพิ่ม พารามิเตอร์ลงในการทดสอบของคุณ

  10. (ไม่บังคับ) หากต้องการเพิ่มมากกว่า 1 ตัวแปรในการทดสอบ ให้คลิกเพิ่ม ตัวแปรอื่น

  11. เปลี่ยนพารามิเตอร์อย่างน้อย 1 รายการสำหรับตัวแปรที่เฉพาะเจาะจง ทั้งหมดที่ไม่เปลี่ยนแปลง จะเหมือนกันสำหรับผู้ใช้ที่ไม่รวมอยู่ในการทดสอบ

  12. ขยายน้ำหนักของตัวแปรเพื่อดูหรือเปลี่ยนน้ำหนักของตัวแปรสำหรับ แต่ค่าเริ่มต้นจะกำหนดให้ตัวแปรต่างๆ มีน้ำหนักเท่ากัน โปรดทราบว่า น้ำหนักอาจเพิ่มเวลาในการเก็บรวบรวมข้อมูล และจะไม่สามารถเปลี่ยนแปลงน้ำหนักได้ หลังจากที่การทดสอบเริ่มต้น

  13. คลิกตรวจสอบเพื่อบันทึกการทดสอบ

คุณสามารถมีการทดสอบได้สูงสุด 300 รายการต่อโปรเจ็กต์ โดยอาจประกอบด้วยการทดสอบที่ทำงานอยู่สูงสุด 24 รายการ และส่วนที่เหลือเป็นแบบร่างหรือที่เสร็จสมบูรณ์แล้ว

ยืนยันการทดสอบในอุปกรณ์ทดสอบ

ในการติดตั้ง Firebase แต่ละครั้ง คุณสามารถดึงข้อมูลโทเค็นการตรวจสอบสิทธิ์การติดตั้งได้ ที่เกี่ยวข้อง คุณใช้โทเค็นนี้เพื่อทดสอบตัวแปรการทดสอบที่เจาะจงได้ ในอุปกรณ์ทดสอบที่ติดตั้งแอปของคุณ วิธีตรวจสอบการทดสอบใน อุปกรณ์ทดสอบ ให้ทำตามขั้นตอนต่อไปนี้

  1. รับโทเค็นการตรวจสอบสิทธิ์การติดตั้งดังนี้

    Swift

    do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt

    C++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    Unity

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
    }
  });
  2. ในแถบนำทางFirebase ให้คลิก การทดสอบ A/B
  3. คลิกฉบับร่าง (และ/หรือกำลังทำงานสำหรับรีโมต การทดสอบการกำหนดค่า) ให้วางเมาส์เหนือการทดสอบแล้วคลิกเมนูตามบริบท () จากนั้นคลิก จัดการอุปกรณ์ทดสอบ
  4. ป้อนโทเค็นการตรวจสอบสิทธิ์การติดตั้งสำหรับอุปกรณ์ทดสอบ แล้วเลือก ตัวแปรการทดสอบเพื่อส่งไปยังอุปกรณ์ทดสอบนั้น
  5. เรียกใช้แอปและยืนยันว่าได้รับตัวแปรที่เลือกใน อุปกรณ์ทดสอบ

ดูข้อมูลเพิ่มเติมเกี่ยวกับการติดตั้ง Firebase ได้ที่ จัดการการติดตั้ง Firebase

จัดการการทดสอบ

ไม่ว่าคุณจะสร้างการทดสอบด้วย Remote Config การเขียนการแจ้งเตือน หรือ Firebase In-App Messaging จากนั้นคุณจะสามารถตรวจสอบและเริ่มการทดสอบ ตรวจสอบ ขณะทำงาน และเพิ่มจำนวนผู้ใช้ที่รวมอยู่ใน การทดสอบที่กำลังทำงานอยู่ของคุณ

เมื่อการทดสอบเสร็จสิ้นแล้ว คุณสามารถบันทึกการตั้งค่าที่ใช้โดย ตัวแปรที่ชนะ แล้วจึงเปิดตัวการตั้งค่าเหล่านั้นกับผู้ใช้ทุกคน หรือคุณสามารถ ทำการทดสอบอื่น

เริ่มการทดสอบ

  1. ในส่วนมีส่วนร่วมของเมนูการนำทางของคอนโซล Firebase ให้คลิก A/B Testing
  2. คลิกฉบับร่าง แล้วคลิกชื่อการทดสอบ
  3. เพื่อตรวจสอบว่าแอปมีผู้ใช้ที่จะรวมไว้ในบัญชี ทดลอง ขยายรายละเอียดฉบับร่าง และตรวจหาตัวเลข มากกว่า 0% ในส่วนการกำหนดเป้าหมายและการกระจาย (เช่น 1% ของผู้ใช้ที่ตรงกับเกณฑ์)
  4. หากต้องการเปลี่ยนแปลงการทดสอบ ให้คลิกแก้ไข
  5. หากต้องการเริ่มการทดสอบ ให้คลิกเริ่มการทดสอบ คุณวิ่งได้สูงสุด 24 คน ต่อโปรเจ็กต์

ติดตามการทดสอบ

เมื่อการทดสอบทำงานเป็นระยะเวลาหนึ่งแล้ว ความคืบหน้าและดูว่าผลลัพธ์เป็นอย่างไรสำหรับผู้ใช้ที่เข้าร่วม ในการทดสอบจนถึงขณะนี้

  1. ในส่วนมีส่วนร่วมของเมนูการนำทางของคอนโซล Firebase ให้คลิก A/B Testing

  2. คลิกการวิ่ง แล้วคลิกหรือค้นหาชื่อของ ในหน้านี้ คุณสามารถดูข้อมูลต่างๆ ที่สังเกตได้ และสร้างแบบจําลอง สถิติเกี่ยวกับการทดสอบที่ทำงานอยู่ของคุณ ซึ่งรวมถึงข้อมูลต่อไปนี้

    • % ความแตกต่างจากเกณฑ์พื้นฐาน: การวัดการปรับปรุงเมตริก สำหรับตัวแปรหนึ่งๆ เมื่อเทียบกับเกณฑ์พื้นฐาน คำนวณโดยการเปรียบเทียบ ช่วงค่าสำหรับตัวแปรไปจนถึงช่วงค่าสำหรับเกณฑ์พื้นฐาน
    • ความน่าจะเป็นที่จะผ่านเกณฑ์พื้นฐาน: ความน่าจะเป็นโดยประมาณที่พร็อพเพอร์ตี้ ตัวแปรจะสูงกว่าเกณฑ์พื้นฐานสำหรับเมตริกที่เลือก
    • observed_metric ต่อผู้ใช้: จากผลการทดสอบ นี่คือช่วงที่คาดการณ์ไว้ว่าค่าเมตริกจะอยู่ในช่วง
    • ทั้งหมด observed_metric: ค่าสะสมที่พบสำหรับ เกณฑ์พื้นฐานหรือตัวแปร ค่าจะใช้เพื่อวัดว่าแต่ละ ตัวแปรการทดสอบทํางานและใช้เพื่อคํานวณการปรับปรุง ช่วงค่า ความน่าจะเป็นที่จะสูงกว่าเกณฑ์พื้นฐาน และความน่าจะเป็นที่จะ เป็นตัวแปรที่ดีที่สุด ซึ่งจะขึ้นอยู่กับเมตริกที่วัด อาจมีป้ายกำกับ "ระยะเวลาต่อผู้ใช้" "รายได้ต่อผู้ใช้" "อัตราการรักษาผู้ใช้" หรือ "อัตรา Conversion"

  3. หลังจากการทดสอบทำงานไปได้ระยะหนึ่ง (อย่างน้อย 7 วันสำหรับ FCM) และ In-App Messaging หรือ 14 วันสำหรับ Remote Config) ข้อมูลในหน้านี้ ระบุว่าตัวแปรใดเป็น "ผู้นำ" (หากมี) การวัดผลบางส่วนได้แก่ พร้อมกับแผนภูมิแท่งที่นำเสนอข้อมูลในรูปแบบภาพ

เริ่มการทดสอบกับผู้ใช้ทุกคน

หลังจากการทดสอบทำงานมานานพอที่คุณจะมี "ผู้นำ" แล้ว หรือการชนะ สำหรับเมตริกเป้าหมาย คุณสามารถทำการทดสอบกับผู้ใช้ทั้ง 100% ได้ วิธีนี้ช่วยให้คุณเลือกตัวแปรที่จะเผยแพร่ไปยังผู้ใช้ทั้งหมดได้ เท่ากัน หากการทดสอบของคุณไม่ได้สร้างผู้ชนะที่ชัดเจน คุณยังคงสามารถเลือก เผยแพร่เวอร์ชันให้กับผู้ใช้ทั้งหมด

  1. ในส่วนมีส่วนร่วมของเมนูการนำทางของคอนโซล Firebase ให้คลิก A/B Testing
  2. คลิกเสร็จสิ้นหรือกำลังทำงาน คลิกการทดสอบที่ต้องการ เผยแพร่ให้กับผู้ใช้ทั้งหมด ให้คลิกเมนูตามบริบท () เปิดตัวตัวแปร

  3. เริ่มการทดสอบกับผู้ใช้ทุกคนโดยทำอย่างใดอย่างหนึ่งต่อไปนี้

    • สำหรับการทดสอบที่ใช้การเขียนการแจ้งเตือน ให้ใช้เมธอด กล่องโต้ตอบเปิดตัวข้อความเพื่อส่งข้อความไปยังบุคคลดังกล่าว ผู้ใช้ที่ไม่ได้อยู่ในการทดสอบ
    • สําหรับการทดสอบ Remote Config ให้เลือกตัวแปรเพื่อระบุตัวแปร ค่าพารามิเตอร์ Remote Config รายการที่จะอัปเดต เกณฑ์การกำหนดเป้าหมายที่กำหนด เมื่อเพิ่มการทดสอบเป็นเงื่อนไขใหม่ใน เทมเพลต เพื่อให้แน่ใจว่าการเปิดตัวจะส่งผลกระทบต่อผู้ใช้ที่กำหนดเป้าหมายตาม หลังจากคลิกตรวจสอบในการกำหนดค่าระยะไกลเพื่อตรวจสอบ การเปลี่ยนแปลง ให้คลิกเผยแพร่การเปลี่ยนแปลง เพื่อเปิดตัวให้เสร็จสมบูรณ์
    • สําหรับการทดสอบ In-App Messaging ให้ใช้กล่องโต้ตอบเพื่อระบุ ตัวแปรต้องเปิดตัวเป็นแคมเปญ In-App Messaging แบบสแตนด์อโลน เมื่อเลือกแล้ว ระบบจะเปลี่ยนเส้นทางคุณไปยังหน้าจอเขียนของ FIAM เพื่อ ให้เปลี่ยนแปลง (หากจำเป็น) ก่อนเผยแพร่

ขยายการทดสอบ

หากคุณพบว่าการทดสอบดึงดูดผู้ใช้ได้ไม่มากพอสำหรับ A/B Testing เพื่อประกาศตัวแปรที่ดีที่สุด คุณสามารถเพิ่มการกระจาย ของการทดสอบเพื่อให้ได้ เปอร์เซ็นต์ที่มากขึ้นในฐานผู้ใช้ของแอป

  1. ในส่วนมีส่วนร่วมของเมนูการนำทางของคอนโซล Firebase ให้คลิก A/B Testing
  2. เลือกการทดสอบที่กำลังทำงานอยู่ที่คุณต้องการแก้ไข
  3. ในภาพรวมการทดสอบ ให้คลิก เมนูตามบริบท () จากนั้น คลิกแก้ไขการทดสอบที่กำลังทำงานอยู่
  4. กล่องโต้ตอบการกำหนดเป้าหมายจะแสดงตัวเลือกในการเพิ่มเปอร์เซ็นต์ของ ผู้ใช้ในการทดสอบที่ทำงานอยู่ เลือกตัวเลขที่มากกว่า เปอร์เซ็นต์ปัจจุบัน และคลิกเผยแพร่ การทดสอบจะ ที่ส่งไปยังเปอร์เซ็นต์ของผู้ใช้ที่คุณได้ระบุไว้

ทำซ้ำหรือหยุดการทดสอบ

  1. ในส่วนมีส่วนร่วมของเมนูการนำทางของคอนโซล Firebase ให้คลิก A/B Testing
  2. คลิกเสร็จสิ้นหรือกำลังทำงาน โดยวางตัวชี้เมาส์ไว้เหนือการทดสอบ คลิกเมนูตามบริบท () และ แล้วคลิกทำซ้ำการทดสอบหรือหยุดการทดสอบ

การกำหนดเป้าหมายผู้ใช้

คุณสามารถกำหนดเป้าหมายผู้ใช้ที่จะรวมไว้ใน ทดสอบโดยใช้เกณฑ์การกำหนดเป้าหมายผู้ใช้ดังต่อไปนี้

เกณฑ์การกำหนดเป้าหมาย ผู้ดำเนินการ ค่า หมายเหตุ
เวอร์ชัน มี
ไม่มี
ตรงกันทั้งหมด
มีนิพจน์ทั่วไป		 ป้อนค่าสำหรับแอปเวอร์ชันอย่างน้อย 1 เวอร์ชันที่คุณต้องการรวมไว้ใน

เมื่อใช้รายการ มี, ไม่มี หรือ ตรงกันทั้งหมด คุณสามารถระบุ รายการที่คั่นด้วยจุลภาคของ

เมื่อใช้โอเปอเรเตอร์ มี regex คุณจะสร้างกิจวัตรได้ นิพจน์ใน RE2 นิพจน์ทั่วไปสามารถจับคู่กับเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วน สตริง นอกจากนี้ คุณยังสามารถใช้แท็ก Anchor ^ และ $ เพื่อจับคู่ จุดเริ่มต้น จุดสิ้นสุด หรือทั้งหมดของสตริงเป้าหมาย
กลุ่มเป้าหมายที่เป็นผู้ใช้ ประกอบด้วย
รวมอย่างน้อย 1
ไม่รวมทั้งหมด
ไม่มีอย่างน้อย 1 รายการ		 เลือกกลุ่มเป้าหมาย Analytics อย่างน้อย 1 กลุ่มเพื่อกําหนดเป้าหมายไปยังผู้ใช้ที่อาจ ที่รวมอยู่ในการทดสอบ การทดสอบบางรายการที่กําหนดเป้าหมายเป็นกลุ่มเป้าหมาย Google Analytics อาจต้องใช้ 2-3 วันเพื่อรวบรวมข้อมูลเนื่องจากข้อมูลอยู่ภายใต้ Analytics เวลาในการตอบสนองสำหรับการประมวลผลข้อมูล และมีโอกาสสูงที่จะพบกับความล่าช้านี้สำหรับผู้ใช้ใหม่ โดยทั่วไปแล้วจะลงทะเบียนเป็นกลุ่มเป้าหมายที่มีคุณสมบัติตามเกณฑ์ 24-48 ชั่วโมงหลังการสร้าง หรือ สำหรับ กลุ่มเป้าหมายที่สร้างขึ้นล่าสุด

สำหรับ Remote Config จะหมายความว่า แม้ว่าในทางเทคนิคผู้ใช้จะมีสิทธิ์สำหรับ กลุ่มเป้าหมาย หาก Analytics ยังไม่ได้เพิ่มผู้ใช้ดังกล่าวไปยังกลุ่มเป้าหมายเมื่อ เรียกใช้ "fetchAndActivate()" ผู้ใช้จะไม่รวมอยู่ใน

พร็อพเพอร์ตี้ผู้ใช้ สำหรับข้อความ:
มี
ไม่มี
ตรงทุกประการกับ
มีนิพจน์ทั่วไป

สำหรับหมายเลขโทรศัพท์
<, ≤, =, ≥, > 		พร็อพเพอร์ตี้ผู้ใช้ Analytics ใช้เพื่อเลือกผู้ใช้ที่อาจอยู่ในเว็บไซต์ ในการทดสอบ พร้อมตัวเลือกต่างๆ สำหรับเลือกพร็อพเพอร์ตี้ผู้ใช้

ในไคลเอ็นต์ คุณจะกำหนดค่าสตริงให้กับผู้ใช้ได้เท่านั้น พร็อพเพอร์ตี้ สำหรับเงื่อนไขที่ใช้โอเปอเรเตอร์ที่เป็นตัวเลข บริการ Remote Config จะแปลงค่าของ ลงในจำนวนเต็ม/จำนวนทศนิยม		 เมื่อใช้โอเปอเรเตอร์ มี regex คุณจะสร้างกิจวัตรได้ นิพจน์ใน RE2 นิพจน์ทั่วไปสามารถจับคู่กับเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วน สตริง นอกจากนี้ คุณยังสามารถใช้แท็ก Anchor ^ และ $ เพื่อจับคู่ จุดเริ่มต้น จุดสิ้นสุด หรือทั้งหมดของสตริงเป้าหมาย
ประเทศ/ภูมิภาค ไม่มี ประเทศหรือภูมิภาคอย่างน้อย 1 แห่งที่ใช้ในการเลือกผู้ใช้ที่อาจอยู่ ในการทดสอบ  
ภาษา ไม่มี ใช้ภาษาและสถานที่อย่างน้อย 1 แห่งเพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในกลุ่ม ในการทดสอบ  
การเปิดครั้งแรก ก่อน
หลัง

กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเปิดแอป ดังนี้

  • เลือกผู้ใช้ใหม่เพื่อกําหนดเป้าหมายผู้ใช้ที่เปิดครั้งแรก แอปของคุณหลังจากวันที่และเวลาในอนาคตที่ระบุไว้
  • เลือกช่วงเวลาเพื่อกำหนดเป้าหมายผู้ใช้ที่เปิด แอปภายในช่วงก่อนหรือหลังวันที่และเวลาที่คุณระบุ รวม เงื่อนไขก่อนและหลังที่จะกำหนดเป้าหมาย ผู้ใช้ภายในช่วงเวลาที่ระบุ

การกำหนดเป้าหมายผู้ใช้ด้วยการเปิดครั้งแรกจะใช้งานได้หลังจากที่คุณเลือก Android หรือ iOS แอป ปัจจุบัน SDK รองรับโดย Remote Config SDK ต่อไปนี้ เวอร์ชัน: SDK แพลตฟอร์มของ Apple v9.0.0 ขึ้นไป และ Android SDK v21.1.1 ขึ้นไป (Firebase BoM v30.3.0 ขึ้นไป)

Analytics ต้องมี บนไคลเอ็นต์ระหว่างเหตุการณ์การเปิดครั้งแรก

เมตริก A/B Testing รายการ

เมื่อสร้างการทดสอบ ให้เลือกเมตริกเป้าหมายหลักหรือ ที่ใช้กำหนดตัวแปรที่ชนะ นอกจากนี้ คุณยังควรติดตามเมตริกอื่นๆ เพื่อ ช่วยให้คุณเข้าใจประสิทธิภาพและติดตามตัวแปรการทดสอบแต่ละรายการได้ดีขึ้น แนวโน้มสำคัญที่อาจแตกต่างกันไปในแต่ละตัวแปร เช่น การคงผู้ใช้ไว้ แอป ความเสถียรและรายได้จากการซื้อในแอป คุณสามารถติดตามเป้าหมายที่ไม่ใช่เป้าหมายได้สูงสุด 5 รายการ ในการทดสอบโดยอัตโนมัติ

ตัวอย่างเช่น สมมติว่าคุณใช้ Remote Config เพื่อเปิดเกม 2 เกมที่แตกต่างกัน ในแอปและต้องการเพิ่มประสิทธิภาพ เพื่อการซื้อในแอปและรายได้จากโฆษณา แต่ต้องการติดตามความเสถียรและการคงผู้ใช้ไว้ของแต่ละตัวแปรด้วย ในกรณีนี้ คุณอาจลองเลือกรายได้รวมโดยประมาณเป็น เมตริกเป้าหมายได้ เนื่องจากมีรายได้จากการซื้อในแอปและรายได้จากโฆษณา และ สำหรับเมตริกอื่นๆ ที่จะติดตาม คุณอาจเพิ่มข้อมูลต่อไปนี้

  • หากต้องการติดตามการคงผู้ใช้ไว้รายวันและรายสัปดาห์ ให้เพิ่ม การรักษาลูกค้า (2-3 วัน) และการรักษาผู้ใช้ (4-7 วัน)
  • หากต้องการเปรียบเทียบความเสถียรระหว่างโฟลว์เกมทั้งสอง ให้เพิ่มผู้ใช้ที่ไม่พบข้อขัดข้อง
  • หากต้องการดูมุมมองโดยละเอียดของรายได้แต่ละประเภท ให้เพิ่ม รายได้จากการซื้อและรายได้จากโฆษณาโดยประมาณ

ตารางต่อไปนี้มีรายละเอียดเกี่ยวกับวิธีการทำงานของเมตริกเป้าหมายและเมตริกอื่นๆ ได้รับการคำนวณ

เมตริกเป้าหมาย

เมตริก คำอธิบาย
ผู้ใช้ที่ไม่พบข้อขัดข้อง เปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อผิดพลาดในแอป ตรวจพบโดย SDK Firebase Crashlytics ระหว่างการทดสอบ
รายได้จากโฆษณาโดยประมาณ รายได้จากโฆษณาโดยประมาณ
รายได้ทั้งหมดโดยประมาณ มูลค่ารวมสำหรับการซื้อและรายได้จากโฆษณาโดยประมาณ
รายได้จากการซื้อ ค่ารวมสำหรับ purchase และ in_app_purchase กิจกรรม
การรักษาผู้ใช้ (1 วัน) จำนวนผู้ใช้ที่กลับมายังแอปของคุณทุกวัน
การรักษาผู้ใช้ (2-3 วัน) จำนวนผู้ใช้ที่กลับมายังแอปของคุณภายใน 2-3 วัน
การรักษาผู้ใช้ (4-7 วัน) จำนวนผู้ใช้ที่กลับมายังแอปของคุณภายใน 4-7 วัน
การรักษาผู้ใช้ (8-14 วัน) จำนวนผู้ใช้ที่กลับมายังแอปของคุณภายใน 8-14 วัน
การรักษาผู้ใช้ (15 วันขึ้นไป) จำนวนผู้ใช้ที่กลับมายังแอปของคุณอย่างน้อย 15 วันหลังจากที่ได้ใช้งาน ใช้ครั้งล่าสุด
first_open เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อผู้ใช้เปิดแอปเป็นครั้งแรกหลังจาก ติดตั้งหรือติดตั้งอีกครั้ง ใช้เป็นส่วนหนึ่งของ Conversion Funnel

เมตริกอื่นๆ

เมตริก คำอธิบาย
notification_dismiss เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อส่งการแจ้งเตือนจาก ปิดการเขียนการแจ้งเตือน (Android เท่านั้น)
notification_receive เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อส่งการแจ้งเตือนจาก ได้รับการเขียนการแจ้งเตือนขณะที่แอปทำงานอยู่เบื้องหลัง (Android เท่านั้น)
os_update เหตุการณ์ Analytics ที่ติดตามเมื่อระบบปฏิบัติการของอุปกรณ์ อัปเดตเป็นเวอร์ชันใหม่ หากต้องการเรียนรู้เพิ่มเติม โปรดดูที่แบบอัตโนมัติ เหตุการณ์ที่รวบรวม
screen_view เหตุการณ์ Analytics ที่ติดตามหน้าจอที่ผู้ใช้ดูภายในแอป เพื่อเรียนรู้ เพิ่มเติม ให้ดูที่ ติดตาม การดูหน้าจอ
session_start เหตุการณ์ Analytics ที่นับเซสชันของผู้ใช้ในแอป หากต้องการทราบข้อมูลเพิ่มเติม ดูแบบอัตโนมัติ เหตุการณ์ที่รวบรวม

การส่งออกข้อมูล BigQuery

นอกเหนือจากการดูข้อมูลการทดสอบ A/B Testing รายการใน คอนโซล Firebase คุณสามารถตรวจสอบและวิเคราะห์ข้อมูลการทดสอบได้ใน BigQuery แม้ว่า A/B Testing จะไม่มี ตาราง BigQuery การทดสอบ และการเป็นสมาชิกของตัวแปรจัดเก็บอยู่ในทุก Google Analytics เหตุการณ์ภายในตารางเหตุการณ์ Analytics

พร็อพเพอร์ตี้ผู้ใช้ที่มีข้อมูลการทดสอบจะอยู่ในรูปแบบ userProperty.key like "firebase_exp_%" หรือ userProperty.key = "firebase_exp_01" โดยที่ 01 คือรหัสการทดสอบ และ userProperty.value.string_value มีดัชนี (แบบศูนย์) ของ ตัวแปรการทดสอบ

คุณใช้พร็อพเพอร์ตี้ผู้ใช้ทดสอบเหล่านี้เพื่อดึงข้อมูลการทดสอบได้ ซึ่งจะช่วยให้คุณแบ่งผลการทดสอบออกเป็น และตรวจสอบผลลัพธ์ของ A/B Testing ได้อย่างอิสระ

หากต้องการเริ่มต้นใช้งาน ให้ทําตามขั้นตอนต่อไปนี้ตามที่อธิบายไว้ในคู่มือนี้

  1. เปิดใช้การส่งออก BigQuery สำหรับ Google Analytics ใน Firebase คอนโซล
  2. เข้าถึงข้อมูล A/B Testing โดยใช้ BigQuery
  3. สำรวจตัวอย่างการค้นหา

เปิดใช้การส่งออก BigQuery สําหรับ Google Analytics ในคอนโซล Firebase

หากใช้แพ็กเกจ Spark คุณสามารถใช้ แซนด์บ็อกซ์ของ BigQuery ไปยัง เข้าถึง BigQuery โดยไม่มีค่าใช้จ่าย โดยขึ้นอยู่กับ ขีดจำกัดของแซนด์บ็อกซ์ โปรดดู ราคาและแซนด์บ็อกซ์ของ BigQuery เพื่อดูข้อมูลเพิ่มเติม

ก่อนอื่นให้ตรวจสอบว่าคุณส่งออกข้อมูล Analytics ไปยัง BigQuery:

  1. เปิด แท็บการผสานรวม ซึ่งคุณเข้าถึงได้โดยใช้ > การตั้งค่าโปรเจ็กต์ในคอนโซลFirebase
  2. หากคุณใช้ BigQuery กับบริการ Firebase อื่นๆ อยู่แล้ว คลิกจัดการ หรือคลิกลิงก์
  3. อ่านเกี่ยวกับการลิงก์ Firebase กับ BigQuery แล้วคลิกถัดไป
  4. ในส่วนกำหนดค่าการผสานรวม ให้เปิดใช้ เปิด/ปิด Google Analytics

  5. เลือกภูมิภาคและเลือกการตั้งค่าการส่งออก

  6. คลิกลิงก์กับ BigQuery

ระบบอาจใช้เวลาถึง 1 วันในการประมวลผลข้อมูล ทั้งนี้ขึ้นอยู่กับวิธีที่คุณเลือกส่งออกข้อมูล ตารางที่จะพร้อมใช้งาน ดูข้อมูลเพิ่มเติมเกี่ยวกับการส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery โปรดดู ส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery

เข้าถึงข้อมูล A/B Testing ใน BigQuery

ก่อนที่จะค้นหาข้อมูลสำหรับการทดสอบหนึ่งๆ คุณอาจต้องการทราบ หรือรายการต่อไปนี้ทั้งหมดที่จะใช้ในข้อความค้นหาของคุณ

  • รหัสการทดสอบ: คุณสามารถรับรหัสนี้จาก URL ของ หน้าภาพรวมการทดสอบ เช่น หาก URL ของคุณมีลักษณะดังนี้ https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, รหัสการทดสอบคือ 25
  • รหัสพร็อพเพอร์ตี้ Google Analytics: นี่คือ 9 หลักของคุณ รหัสพร็อพเพอร์ตี้ Google Analytics คุณสามารถค้นหาหมายเลขนี้ได้ภายใน Google Analytics; ส่วนขยายดังกล่าวยังปรากฏในBigQueryเมื่อคุณขยาย ชื่อโปรเจ็กต์เพื่อแสดงชื่อเหตุการณ์ Google Analytics ตาราง (project_name.analytics_000000000.events)
  • วันที่ทดสอบ: หากต้องการเขียนคำค้นหาที่รวดเร็วและมีประสิทธิภาพยิ่งขึ้น ให้ใช้ แนวทางปฏิบัติที่ดีในการจำกัดจำนวนคำค้นหาให้เหลือเพียง Google Analytics ต่อวัน พาร์ติชันตารางเหตุการณ์ที่มีข้อมูลการทดสอบของคุณ — ตาราง ระบุด้วยคำต่อท้าย YYYYMMDD ดังนั้น หากการทดสอบของคุณเกิดขึ้นจาก ตั้งแต่วันที่ 2 กุมภาพันธ์ 2024 ถึง 2 พฤษภาคม 2024 คุณจะระบุ _TABLE_SUFFIX between '20240202' AND '20240502' ดูตัวอย่างได้ที่ เลือกค่าเฉพาะของการทดสอบหนึ่งๆ
  • ชื่อเหตุการณ์: โดยปกติแล้วจะสอดคล้องกับ เมตริกเป้าหมาย ที่กำหนดค่าไว้ในการทดลอง เช่น in_app_purchase กิจกรรม, ad_impression หรือ user_retention กิจกรรม

หลังจากรวบรวมข้อมูลที่จำเป็นต่อการสร้างคำค้นหาแล้ว ให้ทำดังนี้

  1. เปิด BigQuery ในคอนโซล Google Cloud
  2. เลือกโปรเจ็กต์ แล้วเลือกสร้างการค้นหา SQL
  3. เพิ่มคำค้นหา ตัวอย่างการค้นหาที่จะเรียกใช้ โปรดดู สำรวจตัวอย่างการค้นหา
  4. คลิกเรียกใช้

ค้นหาข้อมูลการทดสอบโดยใช้คำค้นหาที่สร้างขึ้นโดยอัตโนมัติของคอนโซล Firebase

หากคุณใช้แผน Blaze หน้าภาพรวมการทดสอบจะมี ข้อความค้นหาตัวอย่างที่ส่งคืนชื่อการทดสอบ ตัวแปร ชื่อเหตุการณ์ และ จำนวนเหตุการณ์สำหรับการทดสอบที่คุณกำลังดู

วิธีรับและเรียกใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติ

  1. จากคอนโซล Firebase ให้เปิด A/B Testing และเลือกการทดสอบ A/B Testing ที่คุณต้องการค้นหาเพื่อเปิด ภาพรวมของการทดสอบ
  2. จากเมนูตัวเลือก ใต้การผสานรวม BigQuery ให้เลือก ข้อมูลการทดสอบการค้นหา การดำเนินการนี้จะเปิดโปรเจ็กต์ใน BigQuery ภายในคอนโซล Google Cloud และแสดงคำค้นหาพื้นฐานที่คุณสามารถ ใช้ในการค้นหาข้อมูลการทดสอบของคุณ

ตัวอย่างต่อไปนี้แสดงคำค้นหาที่สร้างขึ้นสำหรับการทดสอบกับ สามตัวแปร (รวมถึงเกณฑ์พื้นฐาน) ที่ชื่อว่า "การทดสอบต้อนรับฤดูหนาว" โดยจะแสดงชื่อการทดสอบที่ทำงานอยู่ ชื่อตัวแปร เหตุการณ์ที่ไม่ซ้ำ และ จำนวนเหตุการณ์ของแต่ละเหตุการณ์ โปรดทราบว่าเครื่องมือสร้างคำค้นหาไม่ได้ระบุ ชื่อโปรเจ็กต์ในชื่อตาราง ซึ่งจะเปิดขึ้นโดยตรงภายในโปรเจ็กต์

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

ดูตัวอย่างการค้นหาเพิ่มเติมได้ที่ สำรวจตัวอย่างการค้นหา

สํารวจตัวอย่างการค้นหา

ส่วนต่อไปนี้จะมีตัวอย่างของคำค้นหาที่ใช้ดึงข้อมูลได้ ข้อมูลการทดสอบ A/B Testing จากตารางเหตุการณ์ Google Analytics ตาราง

แยกค่าเบี่ยงเบนมาตรฐานของการซื้อและการทดสอบออกจากการทดสอบทั้งหมด

คุณสามารถใช้ข้อมูลผลการทดสอบเพื่อยืนยันโดยอิสระ ผลลัพธ์ Firebase A/B Testing รายการ คำสั่ง SQL BigQuery ต่อไปนี้ แยกการทดสอบ ตัวแปร จำนวนผู้ใช้ที่ไม่ซ้ำในแต่ละตัวแปร และรวมรายได้ทั้งหมด จาก in_app_purchase ถึง ecommerce_purchase เหตุการณ์ และค่าเบี่ยงเบนมาตรฐาน สำหรับการทดสอบทั้งหมดภายในช่วงเวลาที่ระบุเป็น _TABLE_SUFFIX เริ่มต้น และวันที่สิ้นสุด คุณสามารถใช้ข้อมูลที่ได้รับจากการค้นหานี้กับ เครื่องมือสร้างนัยสำคัญทางสถิติสำหรับการทดสอบ t แบบด้านเดียวเพื่อยืนยันว่า ผลลัพธ์ที่ Firebase จะแสดงตรงกับการวิเคราะห์ของคุณเอง

ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ A/B Testing คำนวณการอนุมานได้ที่ ตีความผลการทดสอบ

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

เลือกค่าในการทดสอบที่เฉพาะเจาะจง

ตัวอย่างข้อความค้นหาต่อไปนี้แสดงวิธีค้นหาข้อมูลสำหรับ ใน BigQuery ตัวอย่างการค้นหานี้จะแสดงชื่อการทดสอบ ชื่อตัวแปร (รวมถึงเกณฑ์พื้นฐาน) ชื่อเหตุการณ์ และจำนวนเหตุการณ์

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName