เกี่ยวกับการทดสอบ A/B ของ Firebase

หน้านี้มีข้อมูลโดยละเอียดเกี่ยวกับวิธีที่ Firebase A/B Testing ทำงานเพื่อช่วยให้คุณเพิ่มความเกี่ยวข้องและประโยชน์ของผลการทดสอบให้ได้สูงสุด

ขนาดตัวอย่าง

Firebase A/B Testing ไม่จำเป็นต้องระบุขนาดตัวอย่างขั้นต่ำก่อนเริ่มการทดสอบ โดยทั่วไป คุณควรเลือก ระดับการเปิดเผยการทดสอบที่ใหญ่ที่สุดที่คุณรู้สึกสบายใจ ขนาดกลุ่มตัวอย่างที่ใหญ่ขึ้นจะเพิ่มโอกาสในการค้นหาผลลัพธ์ที่มีนัยสำคัญทางสถิติ โดยเฉพาะอย่างยิ่งเมื่อความแตกต่างของประสิทธิภาพระหว่างตัวแปรมีน้อย นอกจากนี้ คุณยังอาจ เห็นว่าเครื่องคำนวณขนาดตัวอย่างออนไลน์มีประโยชน์ในการค้นหา ขนาดตัวอย่างที่แนะนำตามลักษณะของการทดสอบ

แก้ไขการทดสอบ

คุณแก้ไขพารามิเตอร์ที่เลือกของการทดสอบที่ทำงานอยู่ได้ ซึ่งรวมถึง

• ชื่อการทดสอบ
• คำอธิบาย
• เงื่อนไขการกำหนดเป้าหมาย
• ค่าของตัวแปร

วิธีแก้ไขการทดสอบ

1. ในFirebaseคอนโซล ให้ไปที่ DevOps และการมีส่วนร่วม > การทดสอบ A/B
2. เปิดหน้าผลลัพธ์ของการทดสอบที่ต้องการแก้ไข
3. จากเมนูเพิ่มเติม more_vert ให้เลือกแก้ไขการทดสอบที่กำลังทำงาน
4. ทำการเปลี่ยนแปลง แล้วคลิกเผยแพร่

โปรดทราบว่าการเปลี่ยนลักษณะการทำงานของแอปในระหว่างการทดสอบที่กำลังทำงานอยู่อาจส่งผลต่อ ผลลัพธ์

ตรรกะการกำหนดตัวแปรของการกำหนดค่าระยะไกล

ระบบจะกําหนดผู้ใช้ที่ตรงกับเงื่อนไขการกําหนดเป้าหมายการทดสอบทั้งหมด (รวมถึงเงื่อนไขเปอร์เซ็นต์ การแสดงโฆษณา) ให้กับตัวแปรการทดสอบตามน้ำหนักตัวแปรและแฮชของรหัสการทดสอบและรหัสการติดตั้งFirebaseของผู้ใช้

Google Analyticsกลุ่มเป้าหมาย อาจมีเวลาในการตอบสนองและจะไม่พร้อมใช้งานทันทีเมื่อผู้ใช้มีคุณสมบัติตรงตามเกณฑ์ของกลุ่มเป้าหมายในครั้งแรก

• เมื่อคุณสร้างกลุ่มเป้าหมายใหม่ ระบบอาจใช้เวลา 24-48 ชั่วโมงในการรวบรวม ผู้ใช้ใหม่
• โดยปกติแล้ว ระบบจะลงทะเบียนผู้ใช้ใหม่ในกลุ่มเป้าหมายที่มีสิทธิ์ภายใน 24-48 ชั่วโมงหลังจากที่ผู้ใช้มีสิทธิ์

สําหรับการกําหนดเป้าหมายที่ต้องคํานึงถึงเวลา ให้พิจารณาใช้Google Analyticsพร็อพเพอร์ตี้ผู้ใช้ หรือตัวเลือกการกําหนดเป้าหมายในตัว เช่น ประเทศหรือภูมิภาค ภาษา และเวอร์ชันแอป

เมื่อผู้ใช้เข้าร่วมการทดสอบแล้ว ระบบจะกําหนดตัวแปรการทดสอบให้ผู้ใช้รายนั้นอย่างถาวร และผู้ใช้จะได้รับค่าพารามิเตอร์จากการทดสอบตราบใดที่การทดสอบยังคงใช้งานอยู่ แม้ว่าพร็อพเพอร์ตี้ผู้ใช้จะเปลี่ยนแปลงไปและผู้ใช้ไม่เป็นไปตามเกณฑ์การกำหนดเป้าหมายของการทดสอบอีกต่อไปก็ตาม

เหตุการณ์การเปิดใช้งาน

เหตุการณ์การเปิดใช้งานการทดสอบจะจํากัดการวัดผลการทดสอบไว้ที่ผู้ใช้แอปที่ทริกเกอร์เหตุการณ์การเปิดใช้งาน เหตุการณ์การเปิดใช้งานการทดสอบไม่มีผลต่อพารามิเตอร์การทดสอบที่แอปดึงข้อมูลมา ผู้ใช้ทุกคนที่ตรงตามเกณฑ์การกำหนดเป้าหมายการทดสอบจะได้รับพารามิเตอร์การทดสอบ ดังนั้น คุณจึงควรเลือกเหตุการณ์การเปิดใช้งานที่เกิดขึ้นหลังจาก ดึงและเปิดใช้งานพารามิเตอร์การทดสอบแล้ว แต่ก่อนที่จะ ใช้พารามิเตอร์การทดสอบเพื่อแก้ไขลักษณะการทำงานของแอป

น้ำหนักของตัวแปร

ในระหว่างการสร้างการทดสอบ คุณสามารถเปลี่ยนน้ำหนักของตัวแปรเริ่มต้น เพื่อกำหนดให้ผู้ใช้ที่เข้าร่วมการทดสอบเป็นเปอร์เซ็นต์ที่มากขึ้นอยู่ในตัวแปร

แปลผลการทดสอบ

Firebase A/B Testing ใช้การอนุมานแบบความถี่เพื่อช่วยให้คุณเข้าใจ ความเป็นไปได้ที่ผลการทดสอบอาจเกิดขึ้นเนื่องจากความบังเอิญ แบบสุ่มเพียงอย่างเดียว ความน่าจะเป็นนี้แสดงด้วยค่าความน่าจะเป็นหรือค่า P-Value ค่า P-Value คือความน่าจะเป็นที่ความแตกต่างของประสิทธิภาพนี้ หรือมากกว่านั้นระหว่าง 2 ตัวแปรอาจเกิดขึ้นเนื่องจากโอกาสแบบสุ่ม หากไม่มีผลลัพธ์ใดๆ จริงๆ โดยวัดจาก ค่าระหว่าง 0 ถึง 1 A/B Testing ใช้ระดับนัยสำคัญที่ 0.05 เพื่อให้

• ค่า P-Value น้อยกว่า 0.05 แสดงว่าหากความแตกต่างที่แท้จริงเป็น 0 มีโอกาสน้อยกว่า 5% ที่ความแตกต่างที่สังเกตได้ซึ่งมีค่าสุดขั้วนี้จะ เกิดขึ้นแบบสุ่ม เนื่องจาก 0.05 เป็นเกณฑ์ ค่า P-Value ที่น้อยกว่า 0.05 แสดงให้เห็นถึงความแตกต่างที่มีนัยสำคัญทางสถิติระหว่างตัวแปร
• ค่า p ที่มากกว่า 0.05 แสดงว่าความแตกต่างระหว่างตัวแปร ไม่มีนัยสำคัญทางสถิติ

ระบบจะรีเฟรชข้อมูลการทดสอบวันละครั้ง และเวลาอัปเดตล่าสุด จะปรากฏที่ด้านบนของหน้าผลการทดสอบ

กราฟผลการทดสอบจะแสดงค่าเฉลี่ยสะสมของเมตริกที่เลือก เช่น หากคุณติดตามรายได้จากโฆษณาต่อผู้ใช้เป็นเมตริก ระบบจะแสดงรายได้ที่สังเกตได้ต่อผู้ใช้ และหากคุณติดตามผู้ใช้ที่ไม่มีข้อขัดข้อง ระบบจะติดตามเปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อขัดข้อง ข้อมูลนี้เป็นข้อมูลสะสมตั้งแต่เริ่มการทดสอบ

ผลลัพธ์จะแบ่งออกเป็นข้อมูลที่สังเกตได้และข้อมูลการอนุมาน ระบบจะคํานวณข้อมูลที่สังเกตได้จากข้อมูล Google Analytics โดยตรง และข้อมูลการอนุมาน จะระบุค่า p และช่วงความเชื่อมั่นเพื่อช่วยคุณประเมิน ความสําคัญทางสถิติของข้อมูลที่สังเกตได้

สถิติต่อไปนี้จะแสดงสำหรับเมตริกแต่ละรายการ

ข้อมูลที่สังเกต

• มูลค่ารวมของเมตริกที่ติดตาม (จํานวนผู้ใช้ที่คงไว้ จํานวนผู้ใช้ที่แอปขัดข้อง รายได้รวม)
• อัตราเฉพาะเมตริก (อัตราการคงผู้ใช้ อัตรา Conversion รายได้ต่อผู้ใช้)
• เปอร์เซ็นต์ส่วนต่าง (Lift) ระหว่างตัวแปรกับการวัดผลพื้นฐาน

ข้อมูลการอนุมาน

• CI 95% (ความแตกต่างของค่าเฉลี่ย) แสดงช่วง ที่มีค่า "จริง" ของเมตริกที่ติดตามโดยมีความเชื่อมั่น 95% ตัวอย่างเช่น หากผลการทดสอบทำให้เกิด CI 95% สำหรับรายได้รวมโดยประมาณระหว่าง $5 ถึง $10 ก็มีโอกาส 95% ที่ความแตกต่างที่แท้จริงของค่าเฉลี่ยจะอยู่ระหว่าง $5 ถึง $10 หากช่วง CI มี 0 แสดงว่าไม่พบความแตกต่างที่มีนัยสำคัญทางสถิติ ระหว่างตัวแปรกับโฆษณาฐาน

  ค่าช่วงความเชื่อมั่นจะปรากฏในรูปแบบที่ตรงกับเมตริกที่ติดตาม เช่น เวลา (ใน HH:MM:SS) สำหรับการคงผู้ใช้ไว้, USD สำหรับรายได้จากโฆษณาต่อผู้ใช้ และเปอร์เซ็นต์สำหรับอัตรา Conversion

• ค่า P-Value ซึ่งแสดงถึงความน่าจะเป็นของ การสังเกตข้อมูลที่มากเท่ากับผลลัพธ์ที่ได้ในการทดสอบ โดยพิจารณาจาก ว่าไม่มีความแตกต่างที่แท้จริงระหว่างตัวแปรกับพื้นฐาน ยิ่งค่า P-Value ต่ำ ความเชื่อมั่นที่ประสิทธิภาพที่สังเกตได้ยังคงเป็นจริงก็จะยิ่งสูงขึ้นหากเราทำการทดสอบซ้ำ ค่า 0.05 หรือต่ำกว่าแสดงถึง ความแตกต่างที่มีนัยสำคัญและความ เป็นไปได้ต่ำที่ผลลัพธ์จะเกิดจากความบังเอิญ ค่า P อิงตามการทดสอบแบบหางเดียว ซึ่งค่าตัวแปรมากกว่าค่าเกณฑ์พื้นฐาน Firebase ใช้การทดสอบ t ที่มีความแปรปรวนไม่เท่ากันสำหรับตัวแปรต่อเนื่อง (ค่าตัวเลข เช่น รายได้) และการทดสอบ z ของสัดส่วนสำหรับข้อมูล Conversion (ค่าไบนารี เช่น การคงผู้ใช้ไว้ ผู้ใช้ที่ไม่พบข้อขัดข้อง ผู้ใช้ที่ทริกเกอร์เหตุการณ์ Google Analytics)

ผลการทดสอบจะให้ข้อมูลเชิงลึกที่สำคัญสำหรับตัวแปรการทดสอบแต่ละรายการ ซึ่งรวมถึง

• เมตริกการทดสอบแต่ละรายการสูงหรือต่ำกว่าพื้นฐานมากน้อยเพียงใด ตามที่วัดโดยตรง (นั่นคือข้อมูลที่สังเกตได้จริง)
• ความเป็นไปได้ที่ความแตกต่างที่พบระหว่างตัวแปรและ ค่าพื้นฐานอาจเกิดขึ้นเนื่องจากความบังเอิญ (ค่า P-Value)
• ช่วงที่มีแนวโน้มที่จะมีความแตกต่างด้านประสิทธิภาพ "ที่แท้จริง" ระหว่างตัวแปรกับโฆษณาฐานสำหรับเมตริกการทดสอบแต่ละรายการ ซึ่งเป็นวิธีทำความเข้าใจสถานการณ์ประสิทธิภาพ "กรณีที่ดีที่สุด" และ "กรณีที่แย่ที่สุด"

การกำหนดผู้นำ

สําหรับการทดสอบที่ใช้ การอนุมานแบบความถี่ Firebase จะประกาศว่าตัวแปรทำได้เหนือกว่า หากพบว่าประสิทธิภาพของตัวแปรและโฆษณาฐานแตกต่างอย่างมีนัยสำคัญทางสถิติ เมื่อพิจารณาเมตริกเป้าหมาย หากมีตัวแปรหลายรายการทำได้ตามเกณฑ์ ตัวแปรที่ได้ค่า P-Value ต่ำสุดจะได้รับเลือก

เนื่องจากการระบุโฆษณาที่ทำได้เหนือกว่าจะอิงตามเป้าหมายหลักอย่างเดียว คุณควรพิจารณาปัจจัยทั้งหมดที่เกี่ยวข้องและดูผลเมตริกรองก่อนตัดสินใจว่าจะเปิดตัวตัวแปรที่ทำได้เหนือกว่าหรือไม่ คุณอาจต้องพิจารณาถึงข้อดีที่คาดไว้ของการเปลี่ยนแปลง ความเสี่ยงด้านลบ (เช่น ขีดล่างของช่วงความเชื่อมั่นสำหรับการปรับปรุง) และผลกระทบต่อ เมตริกอื่นๆ นอกเหนือจากเป้าหมายหลัก

ตัวอย่างเช่น หากเมตริกหลักคือผู้ใช้ที่ไม่พบข้อขัดข้อง และตัวแปร A มีประสิทธิภาพสูงกว่าค่าพื้นฐานอย่างเห็นได้ชัด แต่เมตริกการคงผู้ใช้ไว้ของตัวแปร A ต่ำกว่าการคงผู้ใช้ไว้พื้นฐาน คุณอาจต้องตรวจสอบเพิ่มเติมก่อนที่จะเปิดตัวตัวแปร A ในวงกว้าง

คุณสามารถ เปิดตัว ตัวแปรใดก็ได้ ไม่ใช่แค่ตัวแปรที่ทำได้เหนือกว่า โดยอิงตาม การประเมินประสิทธิภาพโดยรวมในเมตริกทั้งหลักและรอง

ระยะเวลาการทดสอบ

Firebase ขอแนะนำให้ทำการทดสอบต่อไปจนกว่าจะตรงตามเงื่อนไขต่อไปนี้

1. การทดสอบสะสมข้อมูลได้เพียงพอที่จะให้ผลลัพธ์ที่เป็นประโยชน์ ระบบจะอัปเดตการทดสอบและข้อมูลผลลัพธ์วันละครั้ง คุณอาจต้องปรึกษา เครื่องคำนวณขนาดตัวอย่างออนไลน์เพื่อประเมินขนาดตัวอย่างที่แนะนำของการทดสอบ
2. การทดสอบทํางานนานพอที่จะรับประกันตัวอย่างซึ่งเป็นตัวแทนของทั้งหมดของผู้ใช้และวัดประสิทธิภาพในระยะยาว 2 สัปดาห์คือระยะเวลาขั้นต่ำที่แนะนำ สำหรับการทดสอบการกำหนดค่าระยะไกลทั่วไป

ระบบจะประมวลผลข้อมูลการทดสอบนานสูงสุด 90 วันหลังจาก การทดสอบเริ่มต้น หลังจาก 90 วัน ระบบจะหยุดการทดสอบโดยอัตโนมัติ ระบบจะไม่แสดงผลการทดสอบในFirebaseคอนโซลอีกต่อไป และการทดสอบจะหยุดส่งค่าพารามิเตอร์เฉพาะการทดสอบ ณ จุดนี้ ไคลเอ็นต์จะเริ่มดึงค่าพารามิเตอร์ตามเงื่อนไขที่ตั้งไว้ ในRemote Configเทมเพลต ระบบจะเก็บข้อมูลการทดสอบย้อนหลังไว้จนกว่า คุณจะลบการทดสอบ

สคีมา BigQuery

นอกเหนือจากการดูA/B Testingข้อมูลการทดสอบในคอนโซล Firebaseแล้ว คุณยังตรวจสอบและวิเคราะห์ข้อมูลการทดสอบใน BigQueryได้ด้วย แม้ว่า A/B Testing จะไม่มีตาราง BigQuery แยกต่างหาก แต่ระบบจะจัดเก็บการเป็นสมาชิกการทดสอบและกลุ่มทดสอบไว้ในเหตุการณ์ Google Analytics ทุกรายการภายในตารางเหตุการณ์ Analytics

พร็อพเพอร์ตี้ผู้ใช้ที่มีข้อมูลการทดสอบจะมีรูปแบบ userProperty.key like "firebase_exp_%" หรือ userProperty.key = "firebase_exp_01" โดยที่ 01 คือรหัสการทดสอบ และ userProperty.value.string_value มีดัชนี (อิงตาม 0) ของ ตัวแปรการทดสอบ

คุณใช้พร็อพเพอร์ตี้ผู้ใช้ในการทดสอบเหล่านี้เพื่อดึงข้อมูลการทดสอบได้ ซึ่งจะช่วยให้คุณสามารถแบ่งผลการทดสอบได้หลายวิธีและตรวจสอบผลลัพธ์ของ A/B Testing ได้อย่างอิสระ

หากต้องการเริ่มต้นใช้งาน ให้ทำตามขั้นตอนต่อไปนี้ตามที่อธิบายไว้ในคู่มือนี้

1. เปิดใช้การส่งออก BigQuery สำหรับ Google Analytics ในคอนโซล Firebase
2. เข้าถึงข้อมูล A/B Testing โดยใช้ BigQuery
3. สำรวจตัวอย่างการค้นหา

เปิดใช้BigQueryการส่งออกสำหรับ Google Analytics ในคอนโซล Firebase

หากใช้แพ็กเกจ Spark คุณจะใช้BigQueryแซนด์บ็อกซ์เพื่อ เข้าถึง BigQuery ได้โดยไม่มีค่าใช้จ่าย โดยขึ้นอยู่กับ ขีดจำกัดของแซนด์บ็อกซ์ ดูข้อมูลเพิ่มเติมได้ที่ การกำหนดราคาและBigQueryแซนด์บ็อกซ์

ก่อนอื่น ให้ตรวจสอบว่าคุณส่งออกAnalyticsข้อมูลไปยัง BigQuery

1. ในFirebaseคอนโซล ให้ไปที่ settings การตั้งค่า > แท็บการผสานรวม

2. ในการ์ด BigQuery ให้คลิกจัดการและตรวจสอบว่าโปรเจ็กต์ ส่งออกข้อมูล Analytics ไปยัง BigQuery

   หากการ์ดระบุว่าลิงก์ แสดงว่าคุณต้องตั้งค่าการส่งออก (ไปยัง ขั้นตอนถัดไป)

3. หากต้องการตั้งค่าการส่งออก ให้ทำดังนี้

   1. อ่านเกี่ยวกับการลิงก์ Firebase กับ BigQuery แล้วคลิกถัดไป

   2. ในส่วนกำหนดค่าการผสานรวม ให้เปิดใช้ Google Analytics

   3. เลือกภูมิภาคและเลือกการตั้งค่าการส่งออก

   4. คลิกลิงก์ไปยัง BigQuery

ตารางอาจพร้อมใช้งานภายใน 1 วัน ทั้งนี้ขึ้นอยู่กับวิธีที่คุณเลือกส่งออกข้อมูล ดูข้อมูลเพิ่มเติมเกี่ยวกับการส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQueryได้ที่ ส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery

เข้าถึงข้อมูล A/B Testing ใน BigQuery

ก่อนที่จะค้นหาข้อมูลสำหรับการทดสอบที่เฉพาะเจาะจง คุณจะต้องได้รับข้อมูลต่อไปนี้บางส่วนหรือทั้งหมดเพื่อใช้ในการค้นหา

• รหัสการทดสอบ: คุณดูรหัสนี้ได้จาก URL ของหน้าภาพรวมการทดสอบ เช่น หาก URL มีลักษณะดังนี้ https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, รหัสการทดสอบคือ 25
• รหัสพร็อพเพอร์ตี้ Google Analytics: นี่คือรหัสพร็อพเพอร์ตี้ 9 หลัก Google Analytics คุณดูข้อมูลนี้ได้ใน Google Analytics และจะปรากฏใน BigQuery ด้วยเมื่อคุณขยาย ชื่อโปรเจ็กต์เพื่อแสดงชื่อตารางเหตุการณ์ Google Analytics (project_name.analytics_000000000.events)
• วันที่ทดสอบ: เพื่อสร้างคําค้นหาที่รวดเร็วและมีประสิทธิภาพมากขึ้น แนวทางปฏิบัติแนะนําคือการจํากัดคําค้นหาไว้ที่Google Analyticsพาร์ติชันตารางเหตุการณ์รายวัน ที่มีข้อมูลการทดสอบของคุณ ซึ่งเป็นตารางที่ระบุด้วยคําต่อท้าย YYYYMMDD ดังนั้น หากการทดสอบของคุณทํางานตั้งแต่วันที่ 2 กุมภาพันธ์ 2024 ถึง 2 พฤษภาคม 2024 คุณจะต้องระบุ _TABLE_SUFFIX between '20240202' AND '20240502' ดูตัวอย่างได้ที่ เลือกค่าของการทดสอบที่เฉพาะเจาะจง
• ชื่อเหตุการณ์: โดยปกติแล้ว ชื่อเหตุการณ์จะสอดคล้องกับเมตริกเป้าหมาย ที่คุณกําหนดค่าในการทดสอบ เช่น in_app_purchase กิจกรรม ad_impression หรือกิจกรรม user_retention

หลังจากรวบรวมข้อมูลที่จำเป็นต่อการสร้างคำค้นหาแล้ว ให้ทำดังนี้

1. ในGoogle Cloudคอนโซล ให้ไปที่ BigQuery
2. เลือกโปรเจ็กต์ แล้วเลือกสร้างการค้นหา SQL
3. เพิ่มคำค้นหา ดูตัวอย่างการค้นหาที่จะเรียกใช้ได้ที่ สำรวจตัวอย่างการค้นหา
4. คลิกเรียกใช้

ค้นหาข้อมูลการทดสอบการค้นหาโดยใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติของคอนโซล Firebase

หากใช้แพ็กเกจ Blaze หน้าภาพรวมการทดสอบจะมีตัวอย่างคําค้นหาที่แสดงชื่อการทดสอบ รูปแบบ ชื่อเหตุการณ์ และจํานวนเหตุการณ์สําหรับการทดสอบที่คุณกําลังดู

วิธีรับและเรียกใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติ

1. ในFirebaseคอนโซล ให้ไปที่ DevOps และการมีส่วนร่วม > การทดสอบ A/B
2. เลือกA/B Testingการทดสอบที่ต้องการค้นหาเพื่อเปิด ภาพรวมการทดสอบ
3. จากเมนูตัวเลือก ในส่วนการผสานรวม BigQuery ให้เลือก ค้นหาข้อมูลการทดสอบ ซึ่งจะเปิดโปรเจ็กต์ในคอนโซล BigQuery ภายในคอนโซล Google Cloud และแสดงการค้นหาพื้นฐานที่คุณใช้ค้นหาข้อมูลการทดสอบได้

ตัวอย่างต่อไปนี้แสดงคําค้นหาที่สร้างขึ้นสําหรับการทดสอบที่มีตัวแปร 3 รายการ (รวมถึงเกณฑ์พื้นฐาน) ชื่อ "การทดสอบต้อนรับฤดูหนาว" โดยจะแสดงชื่อการทดสอบที่ใช้งานอยู่ ชื่อตัวแปร เหตุการณ์ที่ไม่ซ้ำ และ จํานวนเหตุการณ์สําหรับแต่ละเหตุการณ์ โปรดทราบว่าเครื่องมือสร้างคําค้นหาไม่ได้ระบุ ชื่อโปรเจ็กต์ในชื่อตาราง เนื่องจากจะเปิดภายในโปรเจ็กต์โดยตรง

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

ดูตัวอย่างการค้นหาเพิ่มเติมได้ที่ สำรวจตัวอย่างการค้นหา

สำรวจตัวอย่างการค้นหา

ส่วนต่อไปนี้จะแสดงตัวอย่างคําค้นหาที่คุณใช้เพื่อดึงข้อมูลการทดสอบจากตารางเหตุการณ์ได้A/B TestingGoogle Analytics

ดึงค่าเบี่ยงเบนมาตรฐานของการซื้อและการทดสอบจากการทดสอบทั้งหมด

คุณสามารถใช้ข้อมูลผลการทดสอบเพื่อยืนยันFirebase A/B Testingผลลัพธ์ได้โดยอิสระ BigQueryคำสั่ง SQL ต่อไปนี้จะดึงข้อมูลตัวแปร การทดสอบ จำนวนผู้ใช้ที่ไม่ซ้ำในแต่ละตัวแปร และผลรวมของรายได้ทั้งหมด จากเหตุการณ์ in_app_purchase และ ecommerce_purchase รวมถึงค่าเบี่ยงเบนมาตรฐาน สำหรับการทดสอบทั้งหมดภายในช่วงเวลาที่ระบุเป็นวันที่_TABLE_SUFFIXเริ่มต้น และวันที่สิ้นสุด คุณใช้ข้อมูลที่ได้จากคําค้นหานี้กับเครื่องมือสร้างนัยสําคัญทางสถิติสําหรับการทดสอบ t แบบหางเดียวเพื่อยืนยันว่าผลลัพธ์ที่ Firebase ให้ตรงกับการวิเคราะห์ของคุณเอง

ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ A/B Testing คำนวณการอนุมานได้ที่ แปลผลการทดสอบ

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

เลือกค่าของการทดสอบที่เฉพาะเจาะจง

ตัวอย่างการค้นหาต่อไปนี้แสดงวิธีรับข้อมูลสำหรับการทดสอบที่เฉพาะเจาะจงใน BigQuery ตัวอย่างคําค้นหานี้จะแสดงชื่อการทดสอบ ชื่อตัวแปร (รวมถึงค่าพื้นฐาน) ชื่อเหตุการณ์ และจํานวนเหตุการณ์

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

จำกัดสูงสุด

A/B Testing มีการจำกัดการทดสอบทั้งหมดไว้ที่ 300 รายการ การทดสอบที่ทำงานอยู่ 24 รายการ และการทดสอบฉบับร่าง 24 รายการ โดยขีดจำกัดเหล่านี้จะแชร์กับการเปิดตัว Remote Config เช่น หากคุณมีการเปิดตัว 2 รายการที่กำลังดำเนินการอยู่ และการทดสอบ 3 รายการที่กำลังดำเนินการอยู่ คุณจะมีการเปิดตัวหรือการทดสอบเพิ่มเติมได้สูงสุด 19 รายการ

• หากมีการทดสอบทั้งหมดถึง 300 รายการหรือมีการทดสอบฉบับร่างถึง 24 รายการ คุณต้องลบการทดสอบที่มีอยู่ก่อนจึงจะสร้างการทดสอบใหม่ได้

• หากมีการทดสอบที่กำลังทำงานและการเปิดตัวถึงขีดจำกัด 24 รายการ คุณต้องหยุดการทดสอบที่กำลังทำงานหรือการเปิดตัวก่อนที่จะเริ่มรายการใหม่

การทดสอบมีตัวแปรได้สูงสุด 8 รายการ (รวมถึงเกณฑ์พื้นฐาน) และพารามิเตอร์สูงสุด 25 รายการสำหรับแต่ละตัวแปร การทดสอบมีขนาดได้สูงสุดประมาณ 200 KiB ซึ่งรวมถึงชื่อตัวแปร พารามิเตอร์ตัวแปร และข้อมูลเมตาการกำหนดค่าอื่นๆ