เกี่ยวกับการทดสอบ A/B ของ Firebase

หน้านี้มีข้อมูลโดยละเอียดเกี่ยวกับวิธีการทำงานของ Firebase A/B Testing เพื่อช่วยให้คุณได้รับประโยชน์สูงสุดจากความเกี่ยวข้องและประโยชน์ของผลการทดสอบ

ขนาดตัวอย่าง

Firebase A/B Testing การอนุมานไม่จำเป็นต้องระบุขนาดตัวอย่างขั้นต่ำ ก่อนเริ่มการทดสอบ โดยทั่วไป คุณควรเลือกระดับการแสดงการทดสอบที่ใหญ่ที่สุดที่คุณรู้สึกสบายใจ ขนาดตัวอย่างที่ใหญ่ขึ้นจะเพิ่มโอกาสในการได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ โดยเฉพาะอย่างยิ่งเมื่อความแตกต่างด้านประสิทธิภาพระหว่างตัวแปรมีน้อย นอกจากนี้ คุณอาจพบว่าการปรึกษาเครื่องคำนวณขนาดตัวอย่างออนไลน์เพื่อดูขนาดตัวอย่างที่แนะนำตามลักษณะของการทดสอบก็มีประโยชน์เช่นกัน

แก้ไขการทดสอบ

คุณสามารถแก้ไขพารามิเตอร์ที่เลือกของการทดสอบที่กำลังทำงานอยู่ ซึ่งรวมถึง

• ชื่อการทดสอบ
• คำอธิบาย
• เงื่อนไขการกำหนดเป้าหมาย
• ค่าตัวแปร

วิธีแก้ไขการทดสอบ

1. ในคอนโซลFirebase ให้ไปที่DevOps และการมีส่วนร่วม > การทดสอบ A/B
2. เปิดหน้าผลลัพธ์ของการทดสอบที่ต้องการแก้ไข
3. เลือกแก้ไขการทดสอบที่กำลังทำงานอยู่ จากเมนูเพิ่มเติม more_vert
4. ทำการเปลี่ยนแปลงที่ต้องการ แล้วคลิกเผยแพร่

โปรดทราบว่าการเปลี่ยนลักษณะการทำงานของแอปในระหว่างการทดสอบที่กำลังทำงานอยู่อาจส่งผลต่อผลลัพธ์

ตรรกะการกำหนดตัวแปรของการกำหนดค่าระยะไกล

ระบบจะกำหนดผู้ใช้ที่ตรงกับเงื่อนไขการกำหนดเป้าหมายทั้งหมดของการทดสอบ (รวมถึงเงื่อนไขเปอร์เซ็นต์ การแสดง) ให้กับตัวแปรการทดสอบตาม น้ำหนักของตัวแปรและแฮชของรหัสการทดสอบและรหัสการติดตั้ง ของผู้ใช้Firebase

Google Analytics กลุ่มเป้าหมาย อาจมีความหน่วงและจะไม่พร้อมใช้งานทันทีเมื่อผู้ใช้ มีคุณสมบัติตรงตามเกณฑ์ของกลุ่มเป้าหมายในครั้งแรก

• เมื่อคุณสร้างกลุ่มเป้าหมายใหม่ ระบบอาจใช้เวลารวบรวมผู้ใช้ใหม่ 24-48 ชั่วโมง
• โดยปกติแล้ว ระบบจะลงทะเบียนผู้ใช้ใหม่ในกลุ่มเป้าหมายที่มีสิทธิ์ 24-48 ชั่วโมงหลังจากที่ผู้ใช้มีสิทธิ์

สำหรับการกำหนดเป้าหมายที่คำนึงถึงเวลา ให้พิจารณาใช้พร็อพเพอร์ตี้ผู้ใช้ Google Analytics หรือตัวเลือกการกำหนดเป้าหมายในตัว เช่น ประเทศหรือภูมิภาค ภาษา และเวอร์ชันแอป

เมื่อผู้ใช้เข้าร่วมการทดสอบแล้ว ระบบจะกำหนดผู้ใช้ให้กับตัวแปรการทดสอบอย่างถาวรและผู้ใช้จะได้รับค่าพารามิเตอร์จากการทดสอบตราบใดที่การทดสอบยังคงใช้งานอยู่ แม้ว่าพร็อพเพอร์ตี้ผู้ใช้จะเปลี่ยนไปและผู้ใช้ไม่มีคุณสมบัติตรงตามเกณฑ์การกำหนดเป้าหมายของการทดสอบอีกต่อไป

เหตุการณ์การเปิดใช้งาน

เหตุการณ์การเปิดใช้งานการทดสอบจะจำกัดการวัดผลการทดสอบไว้ที่ผู้ใช้แอปที่ทริกเกอร์เหตุการณ์การเปิดใช้งาน เหตุการณ์การเปิดใช้งานการทดสอบไม่ส่งผลต่อพารามิเตอร์การทดสอบที่แอปดึงข้อมูล ผู้ใช้ทั้งหมดที่มีคุณสมบัติตรงตามเกณฑ์การกำหนดเป้าหมายของการทดสอบจะได้รับพารามิเตอร์การทดสอบ ดังนั้น คุณจึงควรเลือกเหตุการณ์การเปิดใช้งานที่เกิดขึ้นหลังจากที่ระบบดึงข้อมูลและเปิดใช้งานพารามิเตอร์การทดสอบแล้ว แต่ก่อนที่จะใช้พารามิเตอร์การทดสอบเพื่อแก้ไขลักษณะการทำงานของแอป

น้ำหนักของตัวแปร

ในระหว่างการสร้างการทดสอบ คุณสามารถเปลี่ยนน้ำหนักเริ่มต้นของตัวแปรเพื่อกำหนดให้ผู้ใช้การทดสอบจำนวนมากขึ้นอยู่ในตัวแปรหนึ่งๆ ได้

แปลผลการทดสอบ

Firebase A/B Testing ใช้ การอนุมานแบบความถี่ เพื่อช่วยให้คุณเข้าใจ ความน่าจะเป็นที่ผลการทดสอบอาจเกิดขึ้นโดยบังเอิญเท่านั้น ความน่าจะเป็นนี้แสดงด้วย ค่าความน่าจะเป็น หรือ ค่า P-Value ค่า P-Value คือความน่าจะเป็นที่ความแตกต่างด้านประสิทธิภาพที่มีขนาดเท่านี้หรือใหญ่กว่าระหว่างตัวแปร 2 ตัวอาจเกิดขึ้นโดยบังเอิญหากไม่มีผลลัพธ์ใดๆ จริงๆ โดยวัดเป็นค่าระหว่าง 0 ถึง 1 A/B Testing ใช้ระดับนัยสำคัญ 0.05 ซึ่งหมายความว่า

• ค่า P-Value น้อยกว่า 0.05 แสดงว่าหากความแตกต่างที่แท้จริงเป็น 0 จะมีโอกาสน้อยกว่า 5% ที่ความแตกต่างที่สังเกตได้ซึ่งมีค่าสุดขั้วเช่นนี้จะเกิดขึ้นแบบสุ่ม เนื่องจาก 0.05 เป็นเกณฑ์ ค่า P-Value ที่น้อยกว่า 0.05 จึงแสดงถึงความแตกต่างที่มีนัยสำคัญทางสถิติระหว่างตัวแปร
• ค่า P-Value มากกว่า 0.05 แสดงว่าความแตกต่างระหว่างตัวแปรไม่มีนัยสำคัญทางสถิติ

ระบบจะรีเฟรชข้อมูลการทดสอบวันละครั้ง และเวลาอัปเดตล่าสุดจะปรากฏที่ด้านบนของหน้าผลการทดสอบ

กราฟผลการทดสอบจะแสดงค่าเฉลี่ยสะสมของเมตริกที่เลือก ตัวอย่างเช่น หากคุณติดตามรายได้จากโฆษณาต่อผู้ใช้เป็นเมตริก กราฟจะแสดงรายได้ที่สังเกตได้ต่อผู้ใช้ และหากคุณติดตามผู้ใช้ที่ไม่มีข้อขัดข้อง กราฟจะติดตามเปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อขัดข้อง ข้อมูลนี้เป็นข้อมูลสะสมตั้งแต่เริ่มต้นการทดสอบ

ผลลัพธ์จะแบ่งออกเป็นข้อมูลที่สังเกต และข้อมูลการอนุมาน ระบบจะคำนวณข้อมูลที่สังเกตได้จากข้อมูล Google Analytics โดยตรง และข้อมูลการอนุมานจะแสดงค่า P-Value และช่วงความเชื่อมั่นเพื่อช่วยคุณประเมินนัยสำคัญทางสถิติของข้อมูลที่สังเกตได้

ระบบจะแสดงสถิติต่อไปนี้สำหรับเมตริกแต่ละรายการ

ข้อมูลที่สังเกต

• มูลค่ารวมของเมตริกที่ติดตาม (จำนวนผู้ใช้ที่ยังคงใช้งานอยู่ จำนวนผู้ใช้ที่พบข้อขัดข้อง รายได้รวม)
• อัตราเฉพาะของเมตริก (อัตราการคงผู้ใช้ไว้ อัตรา Conversion รายได้ต่อผู้ใช้)
• เปอร์เซ็นต์ความแตกต่าง (Lift) ระหว่างตัวแปรกับเกณฑ์พื้นฐาน

ข้อมูลการอนุมาน

• CI 95% (ความแตกต่างของค่าเฉลี่ย) จะแสดงช่วงที่มีค่า "จริง" ของเมตริกที่ติดตามด้วยความเชื่อมั่น 95% ตัวอย่างเช่น หากผลการทดสอบแสดง CI 95% สำหรับรายได้รวมโดยประมาณระหว่าง $5 ถึง $10 แสดงว่ามีความเป็นไปได้ 95% ที่ความแตกต่างของค่าเฉลี่ยที่แท้จริงจะอยู่ระหว่าง $5 ถึง $10 หากช่วง CI มี 0 แสดงว่าระบบไม่พบความแตกต่างที่มีนัยสำคัญทางสถิติระหว่างตัวแปรกับเกณฑ์พื้นฐาน

  ค่าช่วงความเชื่อมั่นจะปรากฏในรูปแบบที่ตรงกับเมตริกที่ติดตาม เช่น เวลา (ในรูปแบบ HH:MM:SS) สำหรับการคงผู้ใช้ไว้, USD สำหรับรายได้จากโฆษณาต่อผู้ใช้ และเปอร์เซ็นต์สำหรับอัตรา Conversion

• ค่า P-Value ซึ่งแสดงถึงความน่าจะเป็นที่จะ สังเกตเห็นข้อมูลที่มีค่าสุดขั้วเท่ากับผลลัพธ์ที่ได้ในการทดสอบ โดยพิจารณา ว่าไม่มีความแตกต่างที่แท้จริงระหว่างตัวแปรกับเกณฑ์พื้นฐาน ค่า P-Value ยิ่งต่ำ ความเชื่อมั่นที่ประสิทธิภาพที่สังเกตได้จะยังคงเป็นจริงหากเราทำการทดสอบซ้ำก็จะยิ่งสูง ค่า 0.05 หรือต่ำกว่าแสดงถึงความแตกต่างที่มีนัยสำคัญและความน่าจะเป็นต่ำที่ผลลัพธ์เกิดจากโอกาส ค่า P-Value อิงตาม การทดสอบแบบด้านเดียว ซึ่งค่าตัวแปรมากกว่าค่าเกณฑ์พื้นฐาน Firebase ใช้ การทดสอบ t แบบความแปรปรวนไม่เท่ากัน สำหรับตัวแปรต่อเนื่อง (ค่าตัวเลข เช่น รายได้) และ การทดสอบ z ของสัดส่วน สำหรับข้อมูล Conversion (ค่าไบนารี เช่น การคงผู้ใช้ไว้ ผู้ใช้ที่ไม่มีข้อขัดข้อง ผู้ใช้ที่ทริกเกอร์เหตุการณ์ Google Analytics)

ผลการทดสอบให้ข้อมูลเชิงลึกที่สำคัญสำหรับตัวแปรการทดสอบแต่ละตัว ซึ่งรวมถึง

• เมตริกการทดสอบแต่ละรายการสูงหรือต่ำกว่าเกณฑ์พื้นฐานเท่าใดเมื่อวัดโดยตรง (นั่นคือ ข้อมูลที่สังเกตได้จริง)
• ความน่าจะเป็นที่ความแตกต่างที่สังเกตได้ระหว่างตัวแปรกับเกณฑ์พื้นฐานอาจเกิดขึ้นโดยบังเอิญ (ค่า P-Value)
• ช่วงที่มีแนวโน้มที่จะมีความแตกต่างด้านประสิทธิภาพ "จริง" ระหว่างตัวแปรกับเกณฑ์พื้นฐานสำหรับเมตริกการทดสอบแต่ละรายการ ซึ่งเป็นวิธีทำความเข้าใจสถานการณ์ด้านประสิทธิภาพ "กรณีที่ดีที่สุด" และ "กรณีที่แย่ที่สุด"

การระบุโฆษณาที่ทำได้เหนือกว่า

สำหรับการทดสอบที่ใช้ การอนุมานแบบความถี่, Firebase จะประกาศว่าตัวแปรทำได้เหนือกว่า หากพบว่าประสิทธิภาพของตัวแปรและโฆษณาฐานแตกต่างอย่างมีนัยสำคัญทางสถิติ เมื่อพิจารณาเมตริกเป้าหมาย หากมีตัวแปรหลายรายการทำได้ตามเกณฑ์ ตัวแปรที่ได้ค่า P-Value ต่ำสุดจะได้รับเลือก

เนื่องจากการระบุโฆษณาที่ทำได้เหนือกว่าจะอิงตามเป้าหมายหลักอย่างเดียว คุณควรพิจารณาปัจจัยทั้งหมดที่เกี่ยวข้องและดูผลเมตริกรองก่อนตัดสินใจว่าจะเปิดตัวตัวแปรที่ทำได้เหนือกว่าหรือไม่ คุณอาจพิจารณาถึงผลลัพธ์ที่คาดหวังจากการเปลี่ยนแปลง ความเสี่ยงด้านลบ (เช่น ขอบเขตล่างของช่วงความเชื่อมั่นสำหรับการปรับปรุง) และผลกระทบต่อเมตริกอื่นๆ นอกเหนือจากเป้าหมายหลัก

ตัวอย่างเช่น หากเมตริกหลักคือผู้ใช้ที่ไม่มีข้อขัดข้อง และตัวแปร ก. ทำได้เหนือกว่าเกณฑ์พื้นฐานอย่างชัดเจน แต่เมตริกการคงผู้ใช้ไว้ของตัวแปร ก. ต่ำกว่าการคงผู้ใช้ไว้ของเกณฑ์พื้นฐาน คุณอาจต้องการตรวจสอบเพิ่มเติมก่อนที่จะเปิดตัวตัวแปร ก. ในวงกว้างมากขึ้น

คุณสามารถเปิดตัวตัวแปรใดก็ได้ ไม่ใช่แค่ตัวแปรที่ทำได้เหนือกว่า โดยอิงตามการประเมินประสิทธิภาพโดยรวมในเมตริกหลักและเมตริกรอง

ระยะเวลาการทดสอบ

Firebase แนะนำให้ดำเนินการทดสอบต่อไปจนกว่าจะเป็นไปตามเงื่อนไขต่อไปนี้

1. การทดสอบได้รวบรวมข้อมูลเพียงพอที่จะให้ผลลัพธ์ที่เป็นประโยชน์ ระบบจะอัปเดตการทดสอบและข้อมูลผลลัพธ์วันละครั้ง คุณอาจต้องการปรึกษาเครื่องคำนวณขนาดตัวอย่างออนไลน์เพื่อประเมินขนาดตัวอย่างที่แนะนำสำหรับการทดสอบ
2. การทดสอบดำเนินการมานานพอที่จะให้ตัวอย่างซึ่งเป็นตัวแทนของทั้งหมดของผู้ใช้ของคุณและวัดประสิทธิภาพในระยะยาวได้ 2 สัปดาห์คือระยะเวลาการทำงานขั้นต่ำที่แนะนำสำหรับการทดสอบการกำหนดค่าระยะไกลทั่วไป

ระบบจะประมวลผลข้อมูลการทดสอบเป็นเวลาสูงสุด 90 วันหลังจากเริ่มการทดสอบ หลังจากผ่านไป 90 วัน ระบบจะหยุดการทดสอบโดยอัตโนมัติ ระบบจะไม่แสดงผลการทดสอบในคอนโซล Firebase และการทดสอบ จะหยุดส่งค่าพารามิเตอร์เฉพาะของการทดสอบ เมื่อถึงจุดนี้ ไคลเอ็นต์จะเริ่มดึงข้อมูลค่าพารามิเตอร์ตามเงื่อนไขที่ตั้งไว้ในเทมเพลต Remote Config ระบบจะเก็บข้อมูลการทดสอบในอดีตไว้จนกว่าคุณจะลบการทดสอบ

สคีมา BigQuery

นอกเหนือจากการดูข้อมูลการทดสอบ A/B Testing ใน Firebase แล้ว คุณยังตรวจสอบและวิเคราะห์ข้อมูลการทดสอบใน BigQuery ได้ด้วย แม้ว่า A/B Testing จะไม่มีตาราง BigQuery แยกต่างหาก แต่ระบบจะจัดเก็บการเป็นสมาชิกการทดสอบและตัวแปรไว้ในเหตุการณ์ Google Analytics ทุกเหตุการณ์ภายในตารางเหตุการณ์ Analytics

พร็อพเพอร์ตี้ผู้ใช้ที่มีข้อมูลการทดสอบจะมีรูปแบบ userProperty.key like "firebase_exp_%" หรือ userProperty.key = "firebase_exp_01" โดยที่ 01 คือรหัสการทดสอบ และ userProperty.value.string_value จะมีดัชนี (เริ่มต้นจาก 0) ของ ตัวแปรการทดสอบ

คุณสามารถใช้พร็อพเพอร์ตี้ผู้ใช้การทดสอบเหล่านี้เพื่อแยกข้อมูลการทดสอบ ซึ่งจะช่วยให้คุณแบ่งผลการทดสอบออกเป็นหลายวิธี และตรวจสอบผลการทดสอบ A/B Testingได้อย่างอิสระ

หากต้องการเริ่มต้นใช้งาน ให้ทำตามขั้นตอนต่อไปนี้ตามที่อธิบายไว้ในคู่มือนี้

1. เปิดใช้ BigQuery การส่งออกสำหรับ Google Analytics ในคอนโซล Firebase
2. เข้าถึงข้อมูลA/B Testing โดยใช้BigQuery
3. สำรวจการค้นหาตัวอย่าง

เปิดใช้การส่งออก BigQuery สำหรับ Google Analytics ในคอนโซล Firebase

หากใช้แพ็กเกจ Spark คุณสามารถใช้ BigQueryแซนด์บ็อกซ์เพื่อ เข้าถึง BigQueryได้โดยไม่มีค่าใช้จ่าย โดยขึ้นอยู่กับ ขีดจำกัดของแซนด์บ็อกซ์ ดูข้อมูลเพิ่มเติมได้ที่ ราคาและแซนด์บ็อกซ์ BigQuery

ขั้นแรก ตรวจสอบว่าคุณได้ส่งออกข้อมูล Analytics ไปยัง BigQuery แล้วโดยทำดังนี้

1. ในคอนโซล Firebase ให้ไปที่ settings การตั้งค่า > แท็บการผสานรวม

2. ในการ์ด BigQuery ให้คลิกจัดการ และตรวจสอบว่า โปรเจ็กต์ของคุณส่งออกข้อมูล Analytics ไปยัง BigQuery

   หากการ์ดแสดงคำว่า ลิงก์ แสดงว่าคุณต้องตั้งค่าการส่งออก (ทำตาม ขั้นตอนถัดไป)

3. หากต้องการตั้งค่าการส่งออก ให้ทำดังนี้

   1. อ่านเกี่ยวกับการลิงก์ Firebase กับBigQuery แล้วคลิก ถัดไป

   2. ในส่วนกำหนดค่าการผสานรวม ให้เปิดใช้ Google Analytics

   3. เลือกภูมิภาคและเลือกการตั้งค่าการส่งออก

   4. คลิก ลิงก์กับ BigQuery

ตารางอาจใช้เวลาถึง 1 วันจึงจะพร้อมใช้งาน ทั้งนี้ขึ้นอยู่กับวิธีที่คุณเลือกส่งออกข้อมูล ดูข้อมูลเพิ่มเติมเกี่ยวกับการส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery ได้ที่หัวข้อ ส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery

เข้าถึงข้อมูล A/B Testing ใน BigQuery

ก่อนที่จะค้นหาข้อมูลสำหรับการทดสอบที่เฉพาะเจาะจง คุณจะต้องได้รับข้อมูลต่อไปนี้บางส่วนหรือทั้งหมดเพื่อใช้ในการค้นหา

• รหัสการทดสอบ: คุณรับรหัสนี้ได้จาก URL ของหน้าภาพรวมการทดสอบ ตัวอย่างเช่น หาก URL มีลักษณะเป็น https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 รหัสการทดสอบคือ 25
• Google Analytics รหัสพร็อพเพอร์ตี้: นี่คือรหัสพร็อพเพอร์ตี้ 9 หลัก Google Analytics คุณดูรหัสนี้ได้ใน Google Analytics และรหัสนี้จะปรากฏใน BigQuery ด้วยเมื่อคุณขยาย ชื่อโปรเจ็กต์เพื่อแสดงชื่อตารางเหตุการณ์ Google Analytics (project_name.analytics_000000000.events)
• วันที่ทดสอบ: แนวทางปฏิบัติแนะนำคือการจำกัดการค้นหาไว้ที่พาร์ติชันตารางเหตุการณ์รายวันของ Google Analytics ที่มีข้อมูลการทดสอบ ซึ่งเป็นตารางที่ระบุด้วยคำต่อท้าย YYYYMMDD เพื่อให้การค้นหาเร็วขึ้นและมีประสิทธิภาพมากขึ้นGoogle Analytics ดังนั้น หากการทดสอบดำเนินการตั้งแต่วันที่ 2 กุมภาพันธ์ 2024 ถึง 2 พฤษภาคม 2024 คุณจะต้องระบุ _TABLE_SUFFIX between '20240202' AND '20240502' ดูตัวอย่างได้ที่ หัวข้อเลือกค่าของการทดสอบที่เฉพาะเจาะจง
• ชื่อเหตุการณ์: โดยปกติแล้ว ชื่อเหตุการณ์จะสอดคล้องกับ เมตริกเป้าหมาย ที่คุณกำหนดค่าในการทดสอบ เช่น เหตุการณ์ in_app_purchase เหตุการณ์ ad_impression หรือเหตุการณ์ user_retention

หลังจากรวบรวมข้อมูลที่ต้องใช้ในการสร้างการค้นหาแล้ว ให้ทำดังนี้

1. ในคอนโซล Google Cloud ให้ไปที่ BigQuery
2. เลือกโปรเจ็กต์ แล้วเลือกสร้างการค้นหา SQL
3. เพิ่มการค้นหา ดูการค้นหาตัวอย่างที่จะเรียกใช้ได้ที่ หัวข้อสำรวจการค้นหาตัวอย่าง
4. คลิกเรียกใช้

ค้นหาข้อมูลการทดสอบโดยใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติของคอนโซล Firebase

หากใช้แพ็กเกจ Blaze หน้าภาพรวมการทดสอบ จะมีการค้นหาตัวอย่างที่แสดงชื่อการทดสอบ ตัวแปร ชื่อเหตุการณ์ และจำนวนเหตุการณ์สำหรับการทดสอบที่คุณกำลังดู

วิธีรับและเรียกใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติ

1. ในคอนโซลFirebase ให้ไปที่DevOps และการมีส่วนร่วม > การทดสอบ A/B
2. เลือกการทดสอบ A/B Testing ที่ต้องการค้นหาเพื่อเปิด ภาพรวมการทดสอบ
3. เลือก ค้นหาข้อมูลการทดสอบ จากเมนูตัวเลือกใต้BigQuery การผสานรวม ซึ่งจะเปิดโปรเจ็กต์ใน BigQuery ภายในคอนโซล Google Cloud และแสดงการค้นหาพื้นฐานที่คุณ ใช้เพื่อค้นหาข้อมูลการทดสอบได้

ตัวอย่างต่อไปนี้แสดงการค้นหาที่สร้างขึ้นสำหรับการทดสอบที่มีตัวแปร 3 ตัว (รวมถึงเกณฑ์พื้นฐาน) ชื่อ "การทดสอบต้อนรับฤดูหนาว" โดยจะแสดงชื่อการทดสอบที่ใช้งานอยู่ ชื่อตัวแปร เหตุการณ์ที่ไม่ซ้ำ และจำนวนเหตุการณ์สำหรับแต่ละเหตุการณ์ โปรดทราบว่าเครื่องมือสร้างการค้นหาไม่ได้ระบุชื่อโปรเจ็กต์ในชื่อตาราง เนื่องจากเครื่องมือจะเปิดขึ้นภายในโปรเจ็กต์โดยตรง

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

หากต้องการดูตัวอย่างการค้นหาเพิ่มเติม ให้ไปที่ หัวข้อสำรวจการค้นหาตัวอย่าง

สำรวจการค้นหาตัวอย่าง

ส่วนต่อไปนี้แสดงตัวอย่างการค้นหาที่คุณใช้เพื่อแยกข้อมูลการทดสอบ A/B Testing จากตารางเหตุการณ์ Google Analytics ได้

แยกค่าเบี่ยงเบนมาตรฐานของการซื้อและการทดสอบจากการทดสอบทั้งหมด

คุณสามารถใช้ข้อมูลผลการทดสอบเพื่อตรวจสอบ Firebase A/B Testing ผลลัพธ์ได้อย่างอิสระ คำสั่ง SQL ต่อไปนี้จะแยกตัวแปรการทดสอบ จำนวนผู้ใช้ที่ไม่ซ้ำในตัวแปรแต่ละตัว และรวมรายได้ทั้งหมดจาก in_app_purchase และ ecommerce_purchase รวมถึงค่าเบี่ยงเบนมาตรฐานสำหรับการทดสอบทั้งหมดภายในช่วงเวลาที่ระบุเป็นวันที่เริ่มต้นและวันที่สิ้นสุดของ _TABLE_SUFFIXBigQuery คุณสามารถใช้ข้อมูลที่ได้รับจากการค้นหานี้ร่วมกับเครื่องมือสร้างนัยสำคัญทางสถิติสำหรับการทดสอบ t แบบด้านเดียวเพื่อยืนยันว่าผลลัพธ์ที่ Firebase แสดงนั้นตรงกับการวิเคราะห์ของคุณเอง

ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ A/B Testing คำนวณการอนุมานได้ที่หัวข้อ แปลผลการทดสอบ

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

เลือกค่าของการทดสอบที่เฉพาะเจาะจง

การค้นหาตัวอย่างต่อไปนี้แสดงวิธีรับข้อมูลสำหรับการทดสอบที่เฉพาะเจาะจง ใน BigQuery การค้นหาตัวอย่างนี้จะแสดงชื่อการทดสอบ ชื่อตัวแปร (รวมถึงเกณฑ์พื้นฐาน) ชื่อเหตุการณ์ และจำนวนเหตุการณ์

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

จำกัดสูงสุด

A/B Testing จำกัดไว้ที่การทดสอบทั้งหมด 300 รายการ การทดสอบที่กำลังทำงานอยู่ 24 รายการ และการทดสอบฉบับร่าง 24 รายการ ขีดจำกัดเหล่านี้ใช้ร่วมกับการเปิดตัว Remote Config ตัวอย่างเช่น หากคุณมีการเปิดตัว 2 รายการที่กำลังทำงานอยู่และการทดสอบ 3 รายการที่กำลังทำงานอยู่ คุณจะมีการเปิดตัวหรือการทดสอบเพิ่มเติมได้สูงสุด 19 รายการ

• หากคุณมีการทดสอบทั้งหมดครบ 300 รายการหรือมีการทดสอบฉบับร่างครบ 24 รายการ คุณต้องลบการทดสอบที่มีอยู่ก่อนจึงจะสร้างการทดสอบใหม่ได้

• หากคุณมีการทดสอบที่กำลังทำงานอยู่และการเปิดตัวครบ 24 รายการ คุณต้องหยุดการทดสอบหรือการเปิดตัวที่กำลังทำงานอยู่ก่อนจึงจะเริ่มการทดสอบหรือการเปิดตัวใหม่ได้

การทดสอบมีตัวแปรได้สูงสุด 8 ตัว (รวมถึงเกณฑ์พื้นฐาน) และพารามิเตอร์สูงสุด 25 รายการสำหรับตัวแปรแต่ละตัว การทดสอบมีขนาดได้สูงสุดประมาณ 200 KiB ซึ่งรวมถึงชื่อตัวแปร พารามิเตอร์ตัวแปร และข้อมูลเมตาการกำหนดค่าอื่นๆ