Catch up on everything announced at Firebase Summit, and learn how Firebase can help you accelerate app development and run your app with confidence. Learn More

สร้างการทดสอบการกำหนดค่าระยะไกลของ Firebase ด้วยการทดสอบ A/B

จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

เมื่อคุณใช้การกำหนดค่าระยะไกลของ Firebase เพื่อปรับใช้การตั้งค่าสำหรับแอปพลิเคชันที่มีฐานผู้ใช้ที่ใช้งานอยู่ คุณต้องการให้แน่ใจว่าคุณทำให้ถูกต้อง คุณสามารถใช้การทดสอบ A/B เพื่อพิจารณาสิ่งต่อไปนี้ได้ดีที่สุด

  • วิธีที่ดีที่สุดในการใช้คุณลักษณะเพื่อเพิ่มประสิทธิภาพประสบการณ์ผู้ใช้ บ่อยครั้ง นักพัฒนาแอปไม่ได้เรียนรู้ว่าผู้ใช้ของตนไม่ชอบคุณลักษณะใหม่หรือประสบการณ์ของผู้ใช้ที่อัปเดตจนกว่าคะแนนของแอปใน App Store จะลดลง การทดสอบ A/B สามารถช่วยวัดได้ว่าผู้ใช้ของคุณชอบคุณลักษณะใหม่ๆ หรือไม่ หรือว่าพวกเขาชอบแอปที่มีอยู่ในปัจจุบันหรือไม่ นอกจากนี้ การรักษาผู้ใช้ส่วนใหญ่ของคุณให้อยู่ในกลุ่มพื้นฐานช่วยให้มั่นใจว่าฐานผู้ใช้ส่วนใหญ่สามารถใช้แอปของคุณต่อไปได้โดยไม่ประสบกับการเปลี่ยนแปลงใดๆ ต่อพฤติกรรมหรือรูปลักษณ์จนกว่าการทดสอบจะสิ้นสุดลง
  • วิธีที่ดีที่สุดในการเพิ่มประสิทธิภาพประสบการณ์ผู้ใช้สำหรับเป้าหมายทางธุรกิจ บางครั้ง คุณกำลังใช้การเปลี่ยนแปลงผลิตภัณฑ์เพื่อเพิ่มเมตริก เช่น รายได้หรือการรักษาลูกค้าให้สูงสุด การทดสอบ A/B ช่วยให้คุณกำหนดวัตถุประสงค์ทางธุรกิจได้ และ Firebase จะทำการวิเคราะห์ทางสถิติเพื่อพิจารณาว่าตัวแปรหนึ่งๆ มีประสิทธิภาพเหนือกว่าเกณฑ์พื้นฐานสำหรับวัตถุประสงค์ที่คุณเลือกหรือไม่

ในการทดสอบ A/B ตัวแปรคุณลักษณะที่มีข้อมูลพื้นฐาน ให้ทำดังต่อไปนี้:

  1. สร้างการทดสอบของคุณ
  2. ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ
  3. จัดการการทดลองของคุณ

สร้างการทดลอง

การทดสอบการกำหนดค่าระยะไกลช่วยให้คุณประเมินตัวแปรหลายตัวใน พารามิเตอร์การกำหนดค่าระยะไกล อย่างน้อยหนึ่งรายการ

  1. ลงชื่อเข้าใช้ คอนโซล Firebase และยืนยันว่าเปิดใช้งาน Google Analytics ในโครงการของคุณแล้ว เพื่อให้การทดสอบสามารถเข้าถึงข้อมูล Analytics

    หากคุณไม่ได้เปิดใช้งาน Google Analytics เมื่อสร้างโปรเจ็กต์ คุณสามารถเปิดใช้งานได้ในแท็บ การผสานการ ทำงาน ซึ่งคุณสามารถเข้าถึงได้โดยใช้ > การตั้ง ค่าโปรเจ็ กต์ ใน คอนโซล Firebase

  2. ใน ส่วน Engage ของแถบการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B

  3. คลิก สร้างการทดสอบ จากนั้นเลือก Remote Config เมื่อได้รับพร้อมท์สำหรับบริการที่คุณต้องการทดลองใช้

  4. ป้อน ชื่อ และ คำอธิบาย ที่ไม่บังคับสำหรับการทดสอบของคุณ แล้วคลิก ถัดไป

  5. กรอกข้อมูลในฟิลด์ การกำหนดเป้าหมาย ขั้นแรกให้เลือกแอปที่ใช้การทดสอบของคุณ คุณยังสามารถกำหนดเป้าหมายผู้ใช้บางส่วนของคุณเพื่อเข้าร่วมในการทดสอบของคุณโดยคลิก และ จากนั้นเลือกตัวเลือกจากรายการต่อไปนี้:

    • เวอร์ชัน: แอปของคุณอย่างน้อยหนึ่งเวอร์ชัน
    • หมายเลขรุ่น: รหัสเวอร์ชันของแอป
    • ภาษา: ภาษาและท้องถิ่นอย่างน้อยหนึ่งภาษาที่ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • ประเทศ/ภูมิภาค: ประเทศหรือภูมิภาคอย่างน้อยหนึ่งประเทศสำหรับการเลือกผู้ใช้ที่ควรรวมอยู่ในการทดสอบ
    • ผู้ชมผู้ใช้: ผู้ชม Analytics ใช้เพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • พร็อพเพอ ร์ตี้ผู้ใช้: พร็ อพเพอร์ตี้ผู้ใช้ Analytics อย่างน้อย 1 รายการสำหรับเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
  6. ตั้งค่า เปอร์เซ็นต์ของผู้ใช้เป้าหมาย: ป้อนเปอร์เซ็นต์ของฐานผู้ใช้แอปของคุณที่ตรงกับเกณฑ์ที่กำหนดภายใต้ ผู้ใช้เป้าหมาย ซึ่งคุณต้องการแบ่งเท่าๆ กันระหว่างบรรทัดฐานและตัวแปรอย่างน้อยหนึ่งรายการในการทดสอบของคุณ ค่านี้สามารถเป็นเปอร์เซ็นต์ใดก็ได้ระหว่าง 0.01% ถึง 100% ผู้ใช้จะถูกสุ่มให้แต่ละการทดสอบ รวมถึงการทดสอบที่ซ้ำกัน

  7. คุณสามารถเลือกตั้งค่าเหตุการณ์การเปิดใช้งานเพื่อให้แน่ใจว่าเฉพาะข้อมูลจากผู้ใช้ที่เรียกใช้เหตุการณ์ Analytics ในครั้งแรกเท่านั้นที่จะถูกนับในการทดสอบของคุณ โปรดทราบว่าผู้ใช้ ทั้งหมด ที่ตรงกับพารามิเตอร์การกำหนดเป้าหมายของคุณจะได้รับค่าทดสอบการกำหนดค่าระยะไกล แต่เฉพาะผู้ที่เรียกใช้เหตุการณ์การเปิดใช้งานเท่านั้นที่จะรวมอยู่ในผลการทดสอบของคุณ

    เพื่อให้แน่ใจว่าการทดสอบถูกต้อง ตรวจสอบให้แน่ใจว่าเหตุการณ์ที่คุณเลือกเกิดขึ้น หลังจากที่ แอปของคุณเปิดใช้งานค่าการกำหนดค่าที่ดึงมา นอกจากนี้ เหตุการณ์ต่อไปนี้ไม่สามารถใช้งานได้ เนื่องจากจะเกิดขึ้นก่อนเปิดใช้งานค่าที่ดึงมาเสมอ:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open
    • first_open
  8. สำหรับ เป้าหมาย ของการทดสอบ ให้เลือกเมตริกหลักที่จะติดตาม และเพิ่มเมตริกเพิ่มเติมที่ต้องการจากรายการแบบเลื่อนลง ซึ่งรวมถึงวัตถุประสงค์ในตัว (การซื้อ รายได้ การคงผู้ใช้ไว้ ผู้ใช้ที่ไม่มีข้อขัดข้อง ฯลฯ) เหตุการณ์ Conversion ของ Analytics และเหตุการณ์ Analytics อื่นๆ เมื่อเสร็จแล้ว ให้คลิก ถัดไป

  9. ในส่วน รูปแบบ คุณจะต้องเลือกข้อมูลพื้นฐานและอย่างน้อยหนึ่งรูปแบบสำหรับการทดสอบ ใช้รายการ เลือกหรือสร้างใหม่ เพื่อเพิ่มพารามิเตอร์อย่างน้อยหนึ่งรายการเพื่อทดสอบ คุณสามารถสร้างพารามิเตอร์ที่ไม่เคยใช้ในคอนโซล Firebase มาก่อนได้ แต่ต้องมีอยู่ในแอปของคุณจึงจะมีผล คุณสามารถทำซ้ำขั้นตอนนี้เพื่อเพิ่มพารามิเตอร์หลายตัวในการทดสอบของคุณ

  10. (ไม่บังคับ) หากต้องการเพิ่มรูปแบบอื่นในการทดสอบของคุณ ให้คลิก เพิ่มรูปแบบอื่น

  11. เปลี่ยนพารามิเตอร์อย่างน้อยหนึ่งรายการสำหรับตัวแปรเฉพาะ พารามิเตอร์ที่ไม่เปลี่ยนแปลงจะเหมือนกันสำหรับผู้ใช้ที่ไม่ได้รวมอยู่ในการทดสอบ

  12. ขยาย น้ำหนักของตัวแปร เพื่อดูหรือเปลี่ยนน้ำหนักของตัวแปรสำหรับการทดสอบ โดยค่าเริ่มต้น ตัวแปรแต่ละรายการจะมีน้ำหนักเท่ากัน โปรดทราบว่าน้ำหนักที่ไม่สม่ำเสมออาจเพิ่มเวลาในการรวบรวมข้อมูล และ น้ำหนักจะไม่สามารถเปลี่ยนแปลงได้หลังจากเริ่มการทดสอบ

  13. คลิก ตรวจสอบ เพื่อบันทึกการทดสอบของคุณ

คุณได้รับอนุญาตให้ทำการทดสอบได้สูงสุด 300 รายการต่อโครงการ ซึ่งอาจประกอบด้วยการทดสอบที่ทำงานอยู่ 24 รายการ ส่วนที่เหลือเป็นแบบร่างหรือเสร็จสิ้น

ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ

สำหรับการติดตั้ง Firebase แต่ละครั้ง คุณสามารถเรียกข้อมูลโทเค็นการตรวจสอบสิทธิ์การติดตั้งที่เกี่ยวข้องได้ คุณสามารถใช้โทเค็นนี้เพื่อทดสอบรูปแบบการทดสอบเฉพาะบนอุปกรณ์ทดสอบที่ติดตั้งแอปของคุณ ในการตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ ให้ทำดังต่อไปนี้:

  1. รับโทเค็นการตรวจสอบสิทธิ์การติดตั้งดังนี้:

    Swift

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    วัตถุประสงค์-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
    

    ความสามัคคี

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
        }
      });
    
  2. บนแถบการนำทาง คอนโซล Firebase คลิก การทดสอบ A/B
  3. คลิก ร่าง (และ/หรือ เรียกใช้ สำหรับการทดสอบการกำหนดค่าระยะไกล) วางเมาส์เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก จัดการอุปกรณ์ทดสอบ
  4. ป้อนโทเค็นการตรวจสอบสิทธิ์การติดตั้งสำหรับอุปกรณ์ทดสอบ และเลือกรูปแบบการทดสอบเพื่อส่งไปยังอุปกรณ์ทดสอบนั้น
  5. เรียกใช้แอพและยืนยันว่าได้รับตัวแปรที่เลือกบนอุปกรณ์ทดสอบ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการติดตั้ง Firebase โปรดดูที่ จัดการการติดตั้ง Firebase

จัดการการทดลองของคุณ

ไม่ว่าคุณจะสร้างการทดสอบด้วยการกำหนดค่าระยะไกล ตัวเขียนการแจ้งเตือน หรือการส่งข้อความในแอปของ Firebase คุณสามารถตรวจสอบและเริ่มการทดสอบ ตรวจสอบการทดสอบของคุณในขณะที่กำลังทำงาน และเพิ่มจำนวนผู้ใช้ที่รวมอยู่ในการทดสอบที่ทำงานอยู่ของคุณ

เมื่อการทดสอบของคุณเสร็จสิ้น คุณสามารถจดบันทึกการตั้งค่าที่ใช้โดยตัวแปรที่ชนะ จากนั้นจึงเปิดตัวการตั้งค่าเหล่านั้นให้กับผู้ใช้ทั้งหมด หรือคุณสามารถเรียกใช้การทดสอบอื่น

เริ่มการทดลอง

  1. ใน ส่วน Engage ของแถบการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก ร่าง แล้วคลิกชื่อการทดสอบของคุณ
  3. ในการตรวจสอบว่าแอปของคุณมีผู้ใช้ที่จะรวมอยู่ในการทดสอบของคุณ ให้ขยายรายละเอียดฉบับร่าง และตรวจสอบตัวเลขที่มากกว่า 0% ในส่วน การกำหนดเป้าหมายและการกระจาย (เช่น 1% ของผู้ใช้ที่ตรงกับเกณฑ์ )
  4. หากต้องการเปลี่ยนการทดสอบ ให้คลิก แก้ไข
  5. หากต้องการเริ่มการทดสอบ ให้คลิก เริ่มการทดสอบ คุณสามารถเรียกใช้การทดสอบได้มากถึง 24 ต่อโปรเจ็กต์ในแต่ละครั้ง

ติดตามการทดลอง

เมื่อทำการทดสอบมาระยะหนึ่งแล้ว คุณสามารถตรวจสอบความคืบหน้าและดูว่าผลลัพธ์ของคุณเป็นอย่างไรสำหรับผู้ใช้ที่เข้าร่วมในการทดสอบของคุณจนถึงตอนนี้

  1. ใน ส่วน Engage ของแถบการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก กำลังทำงาน จากนั้นคลิกหรือค้นหาชื่อการทดสอบของคุณ ในหน้านี้ คุณสามารถดูสถิติที่สังเกตและแบบจำลองต่างๆ เกี่ยวกับการทดสอบที่ทำงานอยู่ของคุณ ซึ่งรวมถึงรายการต่อไปนี้:

    • % ความแตกต่างจากเส้นฐาน : การวัดการปรับปรุงตัววัดสำหรับตัวแปรที่กำหนดเมื่อเทียบกับค่าพื้นฐาน คำนวณโดยการเปรียบเทียบช่วงค่าสำหรับรายละเอียดปลีกย่อยกับช่วงค่าสำหรับเส้นฐาน
    • ความน่าจะเป็นที่จะเอาชนะการตรวจวัดพื้นฐาน : ความน่าจะเป็นโดยประมาณที่ตัวแปรที่กำหนดจะเอาชนะเส้นฐานสำหรับเมตริกที่เลือก
    • observed_metric ต่อผู้ใช้ : จากผลการทดสอบ นี่คือช่วงที่คาดการณ์ซึ่งค่าเมตริกจะตกอยู่ในช่วงเวลาหนึ่ง
    • observed_metric ทั้งหมด_เมตริก : ค่าสะสมที่สังเกตได้สำหรับเส้นฐานหรือตัวแปร ค่านี้ใช้เพื่อวัดว่ารูปแบบการทดสอบแต่ละรายการทำงานได้ดีเพียงใด และใช้ในการคำนวณ การปรับปรุง ช่วงของค่า ความน่าจะเป็นที่จะเอาชนะการตรวจวัดพื้นฐาน และ ความน่าจะเป็นที่จะเป็นตัวแปรที่ดีที่สุด คอลัมน์นี้อาจมีป้ายกำกับว่า "ระยะเวลาต่อผู้ใช้" "รายได้ต่อผู้ใช้" "อัตราการรักษาลูกค้า" หรือ "อัตรา Conversion" ทั้งนี้ขึ้นอยู่กับเมตริกที่วัด
  3. หลังจากที่การทดสอบของคุณทำงานมาระยะหนึ่งแล้ว (อย่างน้อย 7 วันสำหรับ FCM และการส่งข้อความในแอป หรือ 14 วันสำหรับการกำหนดค่าระยะไกล) ข้อมูลในหน้านี้ระบุว่าตัวแปรใดคือ "ผู้นำ" การวัดบางอย่างมาพร้อมกับแผนภูมิแท่งที่แสดงข้อมูลในรูปแบบภาพ

เปิดตัวการทดสอบให้กับผู้ใช้ทุกคน

หลังจากการทดสอบดำเนินไปนานพอที่คุณจะมี "ผู้นำ" หรือตัวแปรที่ชนะสำหรับเมตริกเป้าหมายของคุณ คุณสามารถเปิดตัวการทดสอบกับผู้ใช้ 100% ได้ วิธีนี้ทำให้คุณสามารถเลือกตัวแปรเพื่อเผยแพร่ไปยังผู้ใช้ทั้งหมดได้ในอนาคต แม้ว่าการทดสอบของคุณจะไม่ได้สร้างผู้ชนะที่ชัดเจน คุณยังสามารถเลือกที่จะเปิดตัวตัวแปรให้กับผู้ใช้ทั้งหมดของคุณได้

  1. ใน ส่วน Engage ของแถบการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสิ้น หรือ กำลังทำงาน คลิกการทดสอบที่คุณต้องการเปิดตัวต่อผู้ใช้ทั้งหมด คลิกเมนูบริบท ( ) จากนั้นคลิก เปิดตัวรูปแบบ ต่างๆ
  3. เปิดตัวการทดสอบของคุณกับผู้ใช้ทุกคนโดยทำอย่างใดอย่างหนึ่งต่อไปนี้:

    • สำหรับการทดสอบที่ใช้ตัวเขียน การแจ้งเตือน ให้ใช้กล่องโต้ตอบเปิดตัว ข้อความ เพื่อส่งข้อความไปยังผู้ใช้เป้าหมายที่เหลือซึ่งไม่ได้เป็นส่วนหนึ่งของการทดสอบ
    • สำหรับการทดสอบการกำหนดค่าระยะ ไกล ให้เลือกตัวแปรเพื่อกำหนดค่าพารามิเตอร์การกำหนดค่าระยะไกลที่จะอัปเดต เกณฑ์การกำหนดเป้าหมายที่กำหนดเมื่อสร้างการทดสอบจะถูกเพิ่มเป็นเงื่อนไขใหม่ในเทมเพลตของคุณ เพื่อให้แน่ใจว่าการเปิดตัวจะมีผลกับผู้ใช้ที่กำหนดเป้าหมายโดยการทดสอบเท่านั้น หลังจากคลิก ตรวจทานในการ กำหนดค่าระยะไกลเพื่อตรวจสอบการเปลี่ยนแปลง ให้คลิก เผยแพร่การเปลี่ยนแปลง เพื่อดำเนินการเปิดตัวให้เสร็จสิ้น
    • สำหรับการทดสอบการ รับส่งข้อความในแอป ให้ใช้กล่องโต้ตอบเพื่อกำหนดรูปแบบที่ต้องการเปิดตัวเป็นแคมเปญการรับส่งข้อความในแอปแบบสแตนด์อโลน เมื่อเลือกแล้ว คุณจะถูกเปลี่ยนเส้นทางไปยังหน้าจอเขียน FIAM เพื่อทำการเปลี่ยนแปลงใดๆ (ถ้าจำเป็น) ก่อนเผยแพร่

ขยายการทดลอง

หากคุณพบว่าการทดสอบนำผู้ใช้มาไม่เพียงพอสำหรับการทดสอบ A/B ในการประกาศผู้นำ คุณสามารถเพิ่มการกระจายของการทดสอบเพื่อให้เข้าถึงฐานผู้ใช้ของแอปในเปอร์เซ็นต์ที่ใหญ่ขึ้นได้

  1. ใน ส่วน Engage ของแถบการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. เลือกการทดสอบที่ทำงานอยู่ที่คุณต้องการแก้ไข
  3. ใน ภาพรวมการทดสอบ คลิกเมนูบริบท ( ) จากนั้นคลิก แก้ไขการทดสอบที่ทำงาน อยู่
  4. กล่องโต้ตอบ การกำหนดเป้าหมาย จะแสดงตัวเลือกเพื่อเพิ่มเปอร์เซ็นต์ของผู้ใช้ที่อยู่ในการทดสอบที่กำลังดำเนินการอยู่ เลือกตัวเลขที่มากกว่าเปอร์เซ็นต์ปัจจุบัน แล้วคลิก เผยแพร่ การทดสอบจะถูกผลักออกไปเป็นเปอร์เซ็นต์ของผู้ใช้ที่คุณระบุ

ทำซ้ำหรือหยุดการทดลอง

  1. ใน ส่วน Engage ของแถบการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสิ้น หรือ กำลังทำงาน วางเมาส์เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก ทำการทดสอบซ้ำ หรือ หยุดการทดสอบ

การกำหนดเป้าหมายผู้ใช้

คุณสามารถกำหนดเป้าหมายผู้ใช้เพื่อรวมในการทดสอบของคุณโดยใช้เกณฑ์การกำหนดเป้าหมายผู้ใช้ต่อไปนี้

เกณฑ์การกำหนดเป้าหมาย ผู้ประกอบการ มูลค่า บันทึก
เวอร์ชั่น ประกอบด้วย,
ไม่มี,
ตรงเป๊ะ
มี regex
ป้อนค่าสำหรับเวอร์ชันแอปอย่างน้อย 1 เวอร์ชันที่คุณต้องการรวมไว้ในการทดสอบ

เมื่อใช้ ประกอบด้วย , ไม่มี หรือ ตรงกับ ตัวดำเนินการ คุณสามารถระบุรายการค่าที่คั่นด้วยเครื่องหมายจุลภาคได้

เมื่อใช้ ประกอบด้วยตัวดำเนินการ regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น จุดสิ้นสุด หรือความสมบูรณ์ของสตริงเป้าหมาย

ผู้ชมผู้ใช้ รวมถึงทั้งหมด,
รวมถึงอย่างน้อยหนึ่ง
ไม่รวมทั้งหมด,
ไม่รวมอย่างน้อยหนึ่งรายการ
เลือกผู้ชม Analytics หนึ่งกลุ่มขึ้นไปเพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบของคุณ การทดสอบบางอย่างที่กำหนดเป้าหมายไปยังผู้ชม Google Analytics อาจต้องใช้เวลาสองสามวันในการรวบรวมข้อมูล เนื่องจากการทดสอบเหล่านี้ขึ้นอยู่กับเวลาใน การตอบสนองของการประมวลผลข้อมูลของ Analytics คุณมักจะประสบกับความล่าช้านี้กับผู้ใช้ใหม่ ซึ่งโดยทั่วไปแล้วจะลงทะเบียนในผู้ชมที่เข้าเกณฑ์ 24-48 ชั่วโมงหลังการสร้าง หรือสำหรับ ผู้ชมที่เพิ่งสร้าง

สำหรับการกำหนดค่าระยะไกล นี่หมายความว่าแม้ว่าผู้ใช้จะมีคุณสมบัติทางเทคนิคสำหรับผู้ชม แต่หาก Analytics ยังไม่ได้เพิ่มผู้ใช้ไปยังผู้ชมเมื่อดำเนินการ `fetchAndActivate()` ผู้ใช้จะไม่ถูกรวมไว้ในการทดสอบ

คุณสมบัติผู้ใช้ สำหรับข้อความ:
ประกอบด้วย,
ไม่มี,
ตรงทุกประการ
มี regex

สำหรับตัวเลข:
<, ≤, =, ≥, >
พร็อพเพอร์ตี้ผู้ใช้ของ Analytics ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ โดยมีตัวเลือกมากมายสำหรับการเลือกค่าพร็อพเพอร์ตี้ผู้ใช้

บนไคลเอนต์ คุณสามารถตั้งค่าสตริงสำหรับคุณสมบัติผู้ใช้เท่านั้น สำหรับเงื่อนไขที่ใช้ตัวดำเนินการตัวเลข บริการ Remote Config จะแปลงค่าของคุณสมบัติผู้ใช้ที่สอดคล้องกันเป็นจำนวนเต็ม/ลอย
เมื่อใช้ ประกอบด้วยตัวดำเนินการ regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น จุดสิ้นสุด หรือความสมบูรณ์ของสตริงเป้าหมาย
ประเทศ/ภูมิภาค ไม่มี ใช้ประเทศหรือภูมิภาคอย่างน้อยหนึ่งประเทศเพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
ภาษา ไม่มี ใช้ภาษาและท้องถิ่นอย่างน้อยหนึ่งภาษาเพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
เปิดครั้งแรก มากกว่า
น้อยกว่า
ระหว่าง
กำหนดเป้าหมายผู้ใช้โดยพิจารณาจากครั้งแรกที่พวกเขาเปิดแอปของคุณ โดยระบุเป็นวัน เกณฑ์การกำหนดเป้าหมายนี้ใช้ได้กับการรับส่งข้อความในแอปของ Firebase เท่านั้น
การมีส่วนร่วมในแอปล่าสุด มากกว่า
น้อยกว่า
ระหว่าง
กำหนดเป้าหมายผู้ใช้โดยพิจารณาจากครั้งสุดท้ายที่พวกเขามีส่วนร่วมกับแอปของคุณ โดยระบุเป็นวัน เกณฑ์การกำหนดเป้าหมายนี้ใช้ได้กับการรับส่งข้อความในแอปของ Firebase เท่านั้น

เมตริกการทดสอบ A/B

เมื่อคุณสร้างการทดสอบ คุณจะต้องเลือกเมตริกหลักหรือ เป้าหมาย ที่ใช้ในการกำหนดรูปแบบที่ชนะ นอกจากนี้ คุณควรติดตามเมตริกอื่นๆ เพื่อช่วยให้คุณเข้าใจประสิทธิภาพของรูปแบบการทดสอบแต่ละรายการได้ดีขึ้น และติดตามแนวโน้มที่สำคัญที่อาจแตกต่างกันไปในแต่ละรูปแบบ เช่น การคงผู้ใช้ไว้ ความเสถียรของแอป และรายได้จากการซื้อในแอป คุณสามารถติดตามเมตริกที่ไม่ใช่เป้าหมายได้สูงสุดห้ารายการในการทดสอบของคุณ

ตัวอย่างเช่น สมมติว่าคุณใช้การกำหนดค่าระยะไกลเพื่อเปิดใช้ขั้นตอนเกมที่แตกต่างกันสองขั้นตอนในแอป และต้องการเพิ่มประสิทธิภาพสำหรับการซื้อในแอปและรายได้จากโฆษณา แต่คุณต้องการติดตามความเสถียรและการรักษาผู้ใช้ของตัวแปรแต่ละรายการด้วย ในกรณีนี้ คุณอาจพิจารณาเลือก รายได้รวมโดยประมาณ เป็นเมตริกเป้าหมาย เนื่องจากรวมรายได้จากการซื้อในแอปและรายได้จากโฆษณา จากนั้นสำหรับ เมตริกอื่นๆ ที่จะติดตาม คุณอาจเพิ่มข้อมูลต่อไปนี้

  • หากต้องการติดตามการรักษาผู้ใช้รายวันและรายสัปดาห์ ให้เพิ่ม การรักษาผู้ใช้ (2-3 วัน) และ การรักษาผู้ใช้ (4-7 วัน)
  • หากต้องการเปรียบเทียบความเสถียรระหว่างขั้นตอนของเกมทั้งสอง ให้เพิ่ม ผู้ใช้ที่ปราศจากการแค รช
  • หากต้องการดูรายละเอียดเพิ่มเติมของรายได้แต่ละประเภท ให้เพิ่ม รายได้จากการซื้อ และราย ได้โฆษณาโดยประมาณ

ตารางต่อไปนี้ให้รายละเอียดเกี่ยวกับวิธีการคำนวณตัวชี้วัดเป้าหมายและตัวชี้วัดอื่นๆ

ตัวชี้วัดเป้าหมาย

เมตริก คำอธิบาย
ผู้ใช้ที่ไม่มีข้อขัดข้อง เปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อผิดพลาดในแอปของคุณที่ Firebase Crashlytics SDK ตรวจพบระหว่างการทดสอบ
รายได้จากโฆษณาโดยประมาณ รายได้โฆษณาโดยประมาณ
รายได้รวมโดยประมาณ รวมมูลค่าการซื้อและรายได้โฆษณาโดยประมาณ
รายได้จากการซื้อ มูลค่ารวมสำหรับเหตุการณ์การ purchase และ in_app_purchase ทั้งหมด
การเก็บรักษา (1 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณทุกวัน
การเก็บรักษา (2-3 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 2-3 วัน
การเก็บรักษา (4-7 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 4-7 วัน
การเก็บรักษา (8-14 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 8-14 วัน
การเก็บรักษา (15+ วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณ 15 วันหลังจากใช้งานครั้งล่าสุด
first_open เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อผู้ใช้เปิดแอปครั้งแรกหลังจากติดตั้งหรือติดตั้งใหม่ ใช้เป็นส่วนหนึ่งของช่องทางการแปลง

ตัวชี้วัดอื่นๆ

เมตริก คำอธิบาย
alert_dismiss เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อมีการปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือน (Android เท่านั้น)
alert_receive เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อได้รับการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือนในขณะที่แอปอยู่ในพื้นหลัง (Android เท่านั้น)
os_update เหตุการณ์ Analytics ที่ติดตามเมื่อระบบปฏิบัติการของอุปกรณ์ได้รับการอัปเดตเป็นเวอร์ชันใหม่ หากต้องการเรียนรู้เพิ่มเติม โปรดดู ที่ เหตุการณ์ที่รวบรวมโดยอัตโนมัติ
screen_view เหตุการณ์ Analytics ที่ติดตามหน้าจอที่ดูภายในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดูที่ การติดตามการ ดูหน้าจอ
session_start เหตุการณ์ Analytics ที่นับเซสชันผู้ใช้ในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดู ที่ เหตุการณ์ที่รวบรวมโดยอัตโนมัติ

การส่งออกข้อมูล BigQuery

คุณสามารถเข้าถึงข้อมูลการวิเคราะห์ทั้งหมดที่เกี่ยวข้องกับการทดสอบ A/B ของคุณใน BigQuery BigQuery ช่วยให้คุณวิเคราะห์ข้อมูลโดยใช้ BigQuery SQL ส่งออกไปยังผู้ให้บริการระบบคลาวด์รายอื่น หรือใช้ข้อมูลสำหรับโมเดล ML ที่กำหนดเองของคุณ ดูข้อมูลเพิ่มเติม ที่ลิงก์ BigQuery กับ Firebase

เพื่อใช้ประโยชน์จากการส่งออกข้อมูล BigQuery อย่างเต็มที่ โปรเจ็กต์ Firebase ควรใช้แผนการกำหนดราคาแบบจ่ายตามการใช้งาน "Blaze" BigQuery เรียกเก็บเงินสำหรับการจัดเก็บข้อมูล การแทรกการสตรีม และการสืบค้นข้อมูล การโหลดและการส่งออกข้อมูลไม่มีค่าใช้จ่าย ดู ราคา BigQuery หรือ แซนด์บ็อกซ์ BigQuery สำหรับข้อมูลเพิ่มเติม

ในการเริ่มต้น ตรวจสอบให้แน่ใจว่าโปรเจ็กต์ Firebase ลิงก์กับ BigQuery เลือก การตั้งค่า > การตั้งค่าโปรเจ็ กต์จากแถบนำทางด้านซ้าย จากนั้นเลือก การผสานการทำงาน > BigQuery > ลิงก์ หน้านี้แสดงตัวเลือกในการส่งออกข้อมูลการวิเคราะห์ BiqQuery สำหรับแอปทั้งหมดในโปรเจ็กต์

ในการสืบค้นข้อมูลการวิเคราะห์สำหรับการทดสอบ:

  1. จากรายการ การทดสอบที่ทำงานอยู่ เลือกการทดสอบที่ต้องการเพื่อเปิดหน้าผลการทดสอบ
  2. จากเมนูบริบท ในบานหน้าต่าง ภาพรวมการทดสอบ ให้เลือก สืบค้นข้อมูลการทดสอบ (ตัวเลือกนี้ไม่สามารถใช้ได้สำหรับโครงการในระดับที่ไม่มีค่าใช้จ่าย)

    การดำเนินการนี้จะเปิดโปรแกรมแต่งข้อความค้นหาของคอนโซล BigQuery พร้อมตัวอย่างข้อความค้นหาที่สร้างขึ้นโดยอัตโนมัติของข้อมูลการทดสอบที่โหลดไว้ล่วงหน้าเพื่อให้คุณตรวจทาน ในข้อความค้นหานี้ การทดสอบของคุณได้รับการเข้ารหัสเป็นพร็อพเพอร์ตี้ผู้ใช้ที่มีชื่อการทดสอบอยู่ในคีย์และรูปแบบการทดสอบในค่านั้น

  3. ในตัวเขียนคิวรี ให้เลือก เรียกใช้คิวรี ผลลัพธ์จะแสดงในบานหน้าต่างด้านล่าง

โปรดทราบว่าเนื่องจากข้อมูล Firebase ใน BigQuery ได้รับการอัปเดตเพียงวันละครั้ง ข้อมูลที่มีอยู่ในหน้าการทดสอบอาจเป็นข้อมูลล่าสุดมากกว่าข้อมูลที่มีอยู่ในคอนโซล BigQuery