คู่มือนี้จะให้ข้อมูลแนวคิดสำคัญเกี่ยวกับการเปิดตัวการกำหนดค่าระยะไกล เพื่อให้คุณทำสิ่งต่อไปนี้ได้
- ทำความเข้าใจวิธีการทำงานของการเป็นสมาชิกกลุ่มแบบเปิดตัว
- ทราบว่าควรใช้การเปิดตัวเมื่อใดและควรใช้การทดสอบ A/B เมื่อใด
- ดูวิธีตีความผลการเปิดตัว
ทำความเข้าใจการเปิดตัวการเป็นสมาชิกกลุ่ม
เมื่อคุณสร้างการเปิดตัวใหม่และกำหนดเปอร์เซ็นต์ Firebase จะวางกลุ่มเป้าหมายที่มีขนาดเท่าๆ กันลงในกลุ่มควบคุมเพื่อให้ได้ผลลัพธ์ที่แม่นยำเมื่อเปรียบเทียบประสิทธิภาพของฟีเจอร์ที่เปิดใช้ ซึ่งจะส่งผลให้มีการจัดกลุ่มต่อไปนี้
- เปิดใช้: อุปกรณ์ของผู้ใช้ที่กำหนดให้กับกลุ่มนี้จะได้รับค่าที่คุณกำหนดค่าในการเปิดตัว
- การควบคุม: อุปกรณ์ของผู้ใช้ที่กำหนดให้กลุ่มนี้จะได้รับค่าที่ตนจะได้รับจากการกำหนดค่าระยะไกล ไม่ใช่มูลค่าการเปิดตัว
- ไม่ได้กำหนด: อุปกรณ์ของผู้ใช้ในกลุ่มนี้จะได้รับค่าที่ได้รับจากการกำหนดค่าระยะไกล แต่ไม่นำไปใช้ในผลลัพธ์การเปรียบเทียบการเปิดตัว
กล่าวคือ หากคุณเปิดตัวกับผู้ใช้ 2% ผู้ใช้จะถูกเพิ่มลงในกลุ่ม "เปิดใช้" และผู้ใช้อีก 2% จะถูกเพิ่มลงในกลุ่มควบคุม ซึ่งใช้สำหรับการเปรียบเทียบ ผู้ใช้ 96% ยังคงอยู่ในสถานะ "ยังไม่ได้กำหนด"
วิธีนี้จะช่วยเปรียบเทียบประสิทธิภาพของผู้ใช้และอุปกรณ์ที่ได้รับมูลค่าการเปิดตัวกับผู้ใช้กับอุปกรณ์ที่ไม่ได้รับผลลัพธ์ และช่วยให้คุณตัดสินความสำเร็จหรือความล้มเหลวของการเปิดตัวในหน้าผลการเปิดตัวได้อย่างมีประสิทธิภาพ
การมอบหมายกลุ่มการเปิดตัวจะสอดคล้องกันในทุกระยะของการเปิดตัว กล่าวคือ หากคุณลดเปอร์เซ็นต์ลงเป็น 0% ผู้ใช้ทั้งหมดจะกลับไปรับค่าพารามิเตอร์ที่กำหนดไว้ในเทมเพลตการกำหนดค่าระยะไกล หากตัดสินใจเพิ่มเปอร์เซ็นต์การเปิดตัวในภายหลัง ผู้ใช้ที่เป็นส่วนหนึ่งของกลุ่ม "เปิดใช้" หรือ "ควบคุม" ก่อนหน้านี้จะกลับไปยังกลุ่มเดิมที่กำหนดไว้แต่แรก และจะได้รับค่าที่สอดคล้องกับกลุ่มเหล่านั้น
เมื่อคุณยืนยันว่ารุ่นของคุณประสบความสำเร็จและตัดสินใจที่จะเปิดตัวต่อผู้ใช้เป้าหมาย 100% โดยสมบูรณ์ Firebase จะไม่ใช้กลุ่มควบคุมอีกต่อไปและผู้ใช้และอุปกรณ์เป้าหมายทั้งหมดจะได้รับมูลค่าการเปิดตัว
กรณีที่ควรใช้การเปิดตัวเทียบกับการทดสอบ A/B
การเปิดตัวการกำหนดค่าระยะไกลและการทดสอบ A/B นั้นเหมาะกับกรณีการใช้งานที่แตกต่างกันเล็กน้อยและสามารถใช้ในลักษณะที่สอดคล้องกัน
การเปิดตัวคือการทยอยเปิดตัว และมักจะใช้ในการเปิดตัวฟีเจอร์ใหม่แก่ผู้ใช้บางกลุ่ม คุณอาจต้องกำหนดเป้าหมายผู้ใช้ในประเทศใดประเทศหนึ่ง หรือใช้เวอร์ชันที่เจาะจงของแอป ใช้การเปิดตัวเพื่อลดความเสี่ยง เพื่อทดสอบฟีเจอร์ใหม่ในสภาพแวดล้อมจริงพร้อมการควบคุมที่แน่นหนา เพื่อให้คุณได้เห็นประสิทธิภาพของฟีเจอร์ นอกจากนี้ คุณยังสามารถตรวจสอบประสิทธิภาพของบริการแบ็กเอนด์ด้วยภาระงานที่เพิ่มขึ้นของฟีเจอร์ใหม่และการใช้งานโดยประมาณ เพื่อให้แน่ใจว่าการเปลี่ยนแปลงจะปรับขนาดได้ก่อนที่จะเผยแพร่ไปยังกลุ่มเป้าหมายในวงกว้างขึ้น
การเปิดตัวเป็นเครื่องมือที่ยอดเยี่ยมสำหรับสถานการณ์ที่คุณกำลังปรับใช้ฟีเจอร์ใหม่ที่มีการเปลี่ยนแปลงฟังก์ชันการทำงานไปอย่างมาก มีการเปลี่ยนแปลงที่อาจทำให้เกิดผลลัพธ์ที่คาดเดาไม่ได้ หรือการเปลี่ยนแปลงที่อาจส่งผลต่อโครงสร้างพื้นฐานแบ็กเอนด์ บริการ หรือ API ภายนอก
การทดสอบ A/B ช่วยให้คุณนำเสนอฟีเจอร์หรือองค์ประกอบแอปได้หลายเวอร์ชัน เช่น อัปเดตรูปลักษณ์และความรู้สึกของ UI เปลี่ยนข้อความโฆษณา การอัปเดตความยากของระดับเกม จากนั้นแสดงรูปแบบต่างๆ ต่อผู้ใช้เพื่อดูว่าตัวเลือกใดสร้างผลลัพธ์ที่ดีกว่าโดยพิจารณาจากเมตริกที่เลือก (เช่น การมีส่วนร่วมของผู้ใช้ การคลิกโฆษณา และรายได้)
ใช้การทดสอบ A/B เพื่อการตัดสินใจ เพิ่มประสิทธิภาพ และ ทำความเข้าใจความต้องการของผู้ใช้จากข้อมูล เหมาะสำหรับสถานการณ์ที่คุณมีตัวเลือกที่เปรียบเทียบได้หลายรายการและเป้าหมายที่เฉพาะเจาะจงมากๆ ตัวอย่างเช่น การทดสอบ A/B เหมาะสำหรับการเปลี่ยนแปลงจุดที่ต้องการปรับเปลี่ยนแอปเพื่อปรับปรุงเมตริกที่เฉพาะเจาะจง เช่น การทดสอบว่าตำแหน่งโฆษณาแบนเนอร์ใดส่งผลให้ได้รับคลิกมากกว่ากัน
นอกจากนี้ ยังควรรวมการเปิดตัวการกำหนดค่าระยะไกลและการทดสอบ A/B ภายในกลยุทธ์ที่ครอบคลุมด้วย โดยขั้นแรก สร้างการทดสอบ A/B กับกลุ่มผู้ใช้แบบจํากัดเพื่อหาตัวแปรที่จะให้ผลลัพธ์ที่ดีที่สุดสำหรับเมตริกหลัก จากนั้น หลังจากที่การทดสอบ A/B ได้ระบุผู้นำแล้ว ให้สร้างการเปิดตัวด้วยตัวแปรที่ชนะ ตรวจสอบความเสถียรและเมตริกหลักเมื่อเพิ่มจำนวนผู้ใช้ที่เห็นโฆษณา และเปิดตัวเป็น 100% หลังจากที่คุณมั่นใจในประสิทธิภาพแล้ว
ทําความเข้าใจผลการเปิดตัว
หลังจากเผยแพร่การเปิดตัวแล้ว คุณน่าจะเริ่มเห็นผลลัพธ์แทบจะในทันที
คุณสามารถดูผลลัพธ์ได้หลายวิธีดังนี้
- จากหน้าพารามิเตอร์ ให้ขยายพารามิเตอร์ที่คุณกำหนดค่าไว้สำหรับการเปิดตัว และคลิกดูผลลัพธ์ใต้การเปิดตัว
- จากหน้าการเปิดตัว ให้คลิกชื่อการเปิดตัว
ตัวเลือกแอปที่ด้านบนของหน้าผลลัพธ์จะช่วยให้คุณเลือกมุมมองสำหรับแอปที่เฉพาะเจาะจงได้ ผลลัพธ์จะแบ่งออกเป็นหลายส่วน ดังนี้
- ส่วนสรุป ซึ่งแสดงเปอร์เซ็นต์การเปิดตัวที่กำหนดค่าไว้ และมอบความสามารถในการย้อนกลับหรือแก้ไขการเปิดตัวได้ เมื่อขยาย แท็บจะแสดงภาพรวมรายละเอียดการกำหนดค่าของการเปิดตัวและประวัติการเปลี่ยนแปลง
ส่วนผู้ใช้ ซึ่งจะแสดงจำนวนการติดตั้งแอปที่ไม่ซ้ำซึ่งดึงข้อมูลเทมเพลตการเปิดตัวในกลุ่มต่อไปนี้
- เปิดใช้: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าการเปิดตัวแล้ว
- การควบคุม: จำนวนอินสแตนซ์แอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าที่ไม่เปลี่ยนแปลง
- เป้าหมาย: จำนวนอินสแตนซ์ทั้งหมดโดยประมาณที่ตรงกับเงื่อนไขที่คุณกำหนดในการเปิดตัว ซึ่งควรได้รับการเปิดตัวหรือค่าที่ไม่เปลี่ยนแปลง
ดูข้อมูลเพิ่มเติมได้ที่ทำความเข้าใจการเป็นสมาชิกกลุ่มการเปิดตัว
ส่วน Crashlytics และ Analytics ซึ่งแสดงข้อมูลการเปรียบเทียบสำหรับกลุ่มเปิดใช้และกลุ่มควบคุม คุณจะกรองข้อมูลที่รวบรวมไว้ในช่วง 24 ชั่วโมงที่ผ่านมา ตั้งแต่การเผยแพร่ครั้งล่าสุด หรือ 7 วันที่ผ่านมาได้ มุมมองเริ่มต้น คือ 24 ชั่วโมงที่ผ่านมา
ผลลัพธ์ของ Crashlytics สำหรับการเปิดตัว
คุณดูจำนวนข้อขัดข้อง ข้อขัดข้องที่ไม่ร้ายแรง และ ANR ทั้งหมดที่เกิดขึ้นระหว่างการเปิดตัวได้ ผลการค้นหาแต่ละหมวดหมู่จะแสดงกราฟแท่งที่เปรียบเทียบยอดรวมดิบของผู้ใช้ที่มีสถานะเปิดใช้และกลุ่มควบคุมที่มีคุณสมบัติตรงตามเงื่อนไขของการเปิดตัว
- ข้อขัดข้อง: แสดงจำนวนและเปอร์เซ็นต์ของข้อขัดข้อง รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำที่พบข้อขัดข้องสำหรับกลุ่ม "เปิดใช้" และ "ควบคุม"
- ไม่ร้ายแรง: แสดงจำนวนและเปอร์เซ็นต์ของข้อผิดพลาดที่ไม่ร้ายแรง จำนวนผู้ใช้ที่ไม่ซ้ำซึ่งพบข้อผิดพลาดที่ไม่ร้ายแรง
- ANR (แอป Android เท่านั้น): แสดงจำนวนและเปอร์เซ็นต์ของเหตุการณ์ "แอปพลิเคชันไม่ตอบสนอง" รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำ ซึ่งพบเหตุการณ์ ANR อย่างน้อย 1 รายการ
หากต้องการดูข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับข้อขัดข้อง ให้คลิกดูเพิ่มเติมใน Crashlytics การดำเนินการนี้จะเปิดหน้า Crashlytics ที่มีตัวกรองที่ใช้งานอยู่สำหรับการเปิดตัวที่มีผลลัพธ์ที่กำลังตรวจสอบ ผลลัพธ์การเปิดตัวในหน้า Crashlytics จะวัดผู้ใช้ทั้งหมดที่เคยเห็นตัวแปรที่เกี่ยวข้อง ซึ่งได้แก่ เปิดใช้ หรือ Control คุณสามารถเลือกดูข้อขัดข้องของกลุ่มควบคุม ข้อขัดข้องของกลุ่มที่เปิดใช้ หรือทั้งสองอย่าง
ผลลัพธ์ของ Google Analytics สำหรับการเปิดตัว
ส่วนผลการเปิดตัวของ Google Analytics จะเปรียบเทียบเมตริก Analytics สำหรับผู้ใช้ทั้งหมดที่เคยเห็นกลุ่ม "เปิดใช้" หรือ "ควบคุม" อย่างละเอียดและในมุมมองกราฟ มาพร้อมเมตริก 3 แบบ ดังนี้
- รายได้ทั้งหมด: แสดงยอดรวมของรายได้ รวมทั้งรายได้จากโฆษณาและรายได้จากการซื้อเป็นสกุลเงิน USD คุณสามารถกรองผลลัพธ์เพื่อแสดงผลลัพธ์สำหรับรายได้จากโฆษณาหรือรายได้จากการซื้อโดยเฉพาะ
- Conversion ทั้งหมด: แสดงจำนวนดิบของผลรวมของเหตุการณ์ Conversion ทั้งหมด คุณสามารถกรองผลลัพธ์ตาม Conversion ที่คุณต้องการไฮไลต์
- เวลาในการมีส่วนร่วมทั้งหมด: แสดงเวลาในการมีส่วนร่วมทั้งหมดที่ผู้ใช้ใช้กับตัวแปรการเปิดตัวเวอร์ชันใดเวอร์ชันหนึ่ง เวลาในการมีส่วนร่วมทั้งหมดจะแสดง ในรูปแบบ ชั่วโมง:นาที:วินาที เช่น 01:31:28 กราฟจะแสดงข้อมูลจากระยะเวลาที่คุณเลือกเหนือส่วน Crashlytics