คู่มือนี้ให้ข้อมูลเกี่ยวกับแนวคิดหลักๆ ที่เกี่ยวข้องกับการเปิดตัว Remote Config เพื่อ ให้คุณทำสิ่งต่อไปนี้ได้
- ทำความเข้าใจวิธีการทำงานของการเป็นสมาชิกกลุ่มเปิดตัว
- ทราบว่าควรใช้การเปิดตัวเมื่อใดและควรใช้การทดสอบ A/B เมื่อใด
- ดูวิธีตีความผลการเปิดตัว
ทำความเข้าใจการเป็นสมาชิกกลุ่มเปิดตัว
เมื่อคุณสร้างการเปิดตัวใหม่และกำหนดเปอร์เซ็นต์ Firebase จะจัดสรรส่วนหนึ่งของกลุ่มเป้าหมายที่มีขนาดเท่ากันลงในกลุ่มควบคุมเพื่อให้ได้ผลลัพธ์ที่แม่นยำเมื่อเปรียบเทียบประสิทธิภาพของฟีเจอร์ที่เปิดใช้ ซึ่งจะส่งผลให้เกิดกลุ่มต่อไปนี้
- เปิดใช้: อุปกรณ์ของผู้ใช้ที่ได้รับมอบหมายให้กลุ่มนี้จะได้รับค่าที่คุณ กำหนดค่าในการเปิดตัว
- ควบคุม: อุปกรณ์ของผู้ใช้ที่ได้รับมอบหมายให้กลุ่มนี้จะได้รับค่า ที่อุปกรณ์จะได้รับจาก Remote Config ไม่ใช่ค่าการเปิดตัว
- ไม่ได้มอบหมาย: อุปกรณ์ของผู้ใช้ในกลุ่มนี้จะได้รับค่าที่อุปกรณ์จะได้รับจาก Remote Config แต่ระบบ จะไม่ ใช้ค่าดังกล่าวในผลการเปรียบเทียบการเปิดตัว
นั่นคือ หากคุณเปิดตัวให้กับผู้ใช้ 2% ระบบจะเพิ่มผู้ใช้เหล่านั้นลงในกลุ่มเปิดใช้ และเพิ่มผู้ใช้อีก 2% ลงในกลุ่มควบคุม ซึ่งใช้สำหรับการเปรียบเทียบ ผู้ใช้ 96% จะยังคงอยู่ในกลุ่มไม่ได้มอบหมาย
แนวทางนี้ช่วยให้มั่นใจได้ว่ามีการเปรียบเทียบประสิทธิภาพระหว่างผู้ใช้และ อุปกรณ์ที่ได้รับค่าการเปิดตัวกับผู้ใช้และอุปกรณ์ที่ไม่ได้รับค่าการเปิดตัวอย่างยุติธรรม และช่วยให้คุณ ระบุความสำเร็จหรือความล้มเหลวของการเปิดตัวในหน้า ผล การเปิดตัว ได้อย่างมีประสิทธิภาพ
การมอบหมายกลุ่มเปิดตัวจะสอดคล้องกันในทุกระยะของการเปิดตัว นั่นคือ ในการเปิดตัวเดียวกัน หากคุณลดเปอร์เซ็นต์ลงเหลือ 0% ผู้ใช้ทั้งหมดจะ กลับไปรับค่าพารามิเตอร์ที่กำหนดไว้ในRemote Config เทมเพลต หากคุณตัดสินใจเพิ่มเปอร์เซ็นต์การเปิดตัวในภายหลัง ผู้ใช้ที่เป็นส่วนหนึ่งของกลุ่มเปิดใช้หรือกลุ่มควบคุมก่อนหน้านี้จะกลับไปอยู่ในกลุ่มที่ได้รับมอบหมายไว้แต่เดิมและจะได้รับค่าที่สอดคล้องกับกลุ่มเหล่านั้น
เมื่อคุณยืนยันว่าการเปิดตัวประสบความสำเร็จและตัดสินใจเปิดตัวอย่างเต็มรูปแบบให้กับผู้ใช้เป้าหมาย 100% แล้ว Firebase จะไม่ใช้กลุ่มควบคุมอีกต่อไป และผู้ใช้และอุปกรณ์เป้าหมาย ทั้งหมด จะได้รับค่าการเปิดตัว
ควรใช้การเปิดตัวเมื่อใดและควรใช้การทดสอบ A/B เมื่อใด
การเปิดตัว Remote Config และ A/B Testing เหมาะสมกับกรณีการใช้งานที่แตกต่างกันเล็กน้อยและสามารถใช้ร่วมกันได้
การเปิดตัว คือการเปิดตัวแบบค่อยเป็นค่อยไป และมักใช้เพื่อเปิดตัวฟีเจอร์ใหม่ให้กับผู้ใช้กลุ่มหนึ่ง คุณอาจต้องการกำหนดเป้าหมายผู้ใช้ในประเทศที่เฉพาะเจาะจง หรือผู้ใช้แอปเวอร์ชันที่เฉพาะเจาะจง ใช้การเปิดตัวเพื่อลดความเสี่ยง ทดสอบฟีเจอร์ใหม่ในสภาพแวดล้อมจริงด้วยการควบคุมที่เข้มงวด เพื่อให้คุณเห็นประสิทธิภาพของฟีเจอร์ นอกจากนี้ คุณยังตรวจสอบประสิทธิภาพของบริการแบ็กเอนด์ด้วยภาระงานที่เพิ่มขึ้นของฟีเจอร์ใหม่ และประมาณการใช้งานเพื่อให้แน่ใจว่าการเปลี่ยนแปลงของคุณปรับขนาดได้ก่อนที่จะเปิดตัวต่อกลุ่มเป้าหมายที่กว้างขึ้น
การเปิดตัวเป็นเครื่องมือที่ยอดเยี่ยมสำหรับสถานการณ์ที่คุณกำลังใช้ฟีเจอร์ใหม่ๆ ที่เปลี่ยนแปลงฟังก์ชันการทำงานอย่างมาก การเปลี่ยนแปลงที่อาจส่งผลให้เกิดผลลัพธ์ที่คาดเดาไม่ได้ หรือการเปลี่ยนแปลงที่อาจส่งผลต่อโครงสร้างพื้นฐาน บริการ หรือ API ภายนอกของแบ็กเอนด์
A/B Testing ช่วยให้คุณ นำเสนอฟีเจอร์หรือองค์ประกอบของแอปได้หลายเวอร์ชัน เช่น การอัปเดตรูปลักษณ์ของ UI การเปลี่ยนข้อความโฆษณา การอัปเดตความยากของระดับเกม จากนั้นคุณสามารถแสดงตัวเลือกต่างๆ ให้ผู้ใช้เพื่อดูว่าตัวเลือกใดให้ผลลัพธ์ที่ดีกว่าตามเมตริกที่เลือก (เช่น การมีส่วนร่วมของผู้ใช้ การคลิกโฆษณา และรายได้)
ใช้ A/B Testing เพื่อการตัดสินใจ การเพิ่มประสิทธิภาพ และ การทำความเข้าใจความต้องการของผู้ใช้โดยอิงตามข้อมูล การทดสอบ A/B เหมาะอย่างยิ่งสำหรับสถานการณ์ที่คุณมีตัวเลือกที่เปรียบเทียบได้หลายตัวเลือกและมีเป้าหมายที่เฉพาะเจาะจงมาก เช่น A/B Testing เหมาะสำหรับการเปลี่ยนแปลงที่คุณต้องการปรับแต่งแอปเพื่อปรับปรุงเมตริกที่เฉพาะเจาะจง เช่น การทดสอบตำแหน่งการวางโฆษณาแบนเนอร์ที่ทำให้เกิดการคลิกมากขึ้น
นอกจากนี้ การรวมการเปิดตัว Remote Config และ A/B Testing เข้ากับกลยุทธ์ที่ครอบคลุมก็เป็นความคิดที่ดีเช่นกัน โดยเริ่มจากการสร้างการทดสอบ A/B กับผู้ใช้กลุ่มหนึ่งเพื่อกำหนดตัวเลือกที่ให้ผลลัพธ์ที่ดีที่สุดสำหรับเมตริกหลัก จากนั้นหลังจากที่ A/B Testing กำหนด a ตัวเลือกที่ได้ผลลัพธ์ดีที่สุด แล้ว ให้สร้างa การเปิดตัวด้วยตัวเลือกนั้น ตรวจสอบความเสถียรและเมตริกหลักขณะที่คุณค่อยๆ เพิ่มจำนวนผู้ใช้ที่เห็นตัวเลือกนั้น และหลังจากมั่นใจในประสิทธิภาพแล้ว ให้เปิดตัวตัวเลือกนั้นให้กับผู้ใช้ 100%
ทำความเข้าใจผลการเปิดตัว
หลังจากเผยแพร่การเปิดตัวแล้ว คุณควรเริ่มเห็นผลลัพธ์เกือบจะทันที
คุณดูผลลัพธ์ได้หลายวิธีในคอนโซล Firebase ดังนี้
จากหน้าDevOps และการมีส่วนร่วม > Remote Config > พารามิเตอร์ ให้ขยายพารามิเตอร์ที่คุณกำหนดค่าสำหรับการเปิดตัว แล้วคลิกดูผลลัพธ์ ใต้การเปิดตัว
จากหน้าDevOps และความผูกพัน > การกำหนดค่าระยะไกล > การเปิดตัว ให้คลิกชื่อการเปิดตัว
ตัวเลือกแอปที่ด้านบนของหน้าDevOps และการมีส่วนร่วม > Remote Config > ผลลัพธ์ ช่วยให้คุณเลือกมุมมองสำหรับแอปที่เฉพาะเจาะจงได้ ผลลัพธ์จะแบ่งออกเป็นหลายส่วน ดังนี้
- ส่วนสรุป ซึ่งแสดงเปอร์เซ็นต์การเปิดตัว ที่กำหนดค่าไว้ และช่วยให้คุณย้อนกลับหรือแก้ไขการเปิดตัวได้ เมื่อขยายแล้ว ส่วนนี้จะแสดงภาพรวม ของรายละเอียดการกำหนดค่าการเปิดตัวและประวัติการเปลี่ยนแปลง
ส่วนผู้ใช้ ซึ่งแสดงจำนวนการติดตั้งแอปที่ไม่ซ้ำกันซึ่งดึงข้อมูลเทมเพลตการเปิดตัวในกลุ่มต่อไปนี้
- เปิดใช้: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าการเปิดตัว
- ควบคุม: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าที่ไม่มีการเปลี่ยนแปลง
- เป้าหมาย: จำนวนอินสแตนซ์ทั้งหมดโดยประมาณที่ตรงกับ เงื่อนไขที่คุณตั้งไว้ในการเปิดตัว ซึ่งควรได้รับค่าการเปิดตัวหรือค่าที่ไม่มีการเปลี่ยนแปลง
ดูข้อมูลเพิ่มเติมได้ที่ ทำความเข้าใจการเป็นสมาชิกกลุ่มเปิดตัว
ส่วน Crashlytics และ Analytics ซึ่งแสดงข้อมูลการเปรียบเทียบ สำหรับกลุ่มเปิดใช้และกลุ่มควบคุม คุณสามารถกรองข้อมูลที่รวบรวมไว้สำหรับ 24 ชั่วโมงที่ผ่านมา ตั้งแต่เผยแพร่ครั้งล่าสุด หรือ7 วันที่ผ่านมา มุมมองเริ่มต้นคือ 24 ชั่วโมงที่ผ่านมา
ผลลัพธ์ Crashlytics สำหรับการเปิดตัว
คุณจะเห็นจำนวนรวมของข้อขัดข้อง ข้อผิดพลาดที่ไม่ร้ายแรง และ ANR ที่ เกิดขึ้นระหว่างการเปิดตัว ผลลัพธ์แต่ละหมวดหมู่จะแสดงกราฟแท่งที่เปรียบเทียบยอดรวมดิบของผู้ใช้เปิดใช้ และควบคุม ที่ตรงกับเงื่อนไขของการเปิดตัว
- ข้อขัดข้อง: แสดงจำนวนและเปอร์เซ็นต์ของข้อขัดข้อง รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำกันที่พบข้อขัดข้องสำหรับกลุ่มเปิดใช้และกลุ่มควบคุม
- ข้อผิดพลาดที่ไม่ร้ายแรง: แสดงจำนวนและเปอร์เซ็นต์ของข้อผิดพลาดที่ไม่ร้ายแรง รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำกันที่พบข้อผิดพลาดที่ไม่ร้ายแรง
- ANR (แอป Android เท่านั้น): แสดงจำนวนและเปอร์เซ็นต์ของเหตุการณ์ "แอปพลิเคชันไม่ตอบสนอง" รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำกันที่พบเหตุการณ์ ANR อย่างน้อย 1 รายการ
หากต้องการดูข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับข้อขัดข้อง ให้คลิกดูเพิ่มเติมใน Crashlytics ซึ่งจะเปิดหน้า Crashlytics พร้อมตัวกรองที่ใช้งานอยู่สำหรับ การเปิดตัวที่คุณกำลังตรวจสอบผลลัพธ์ ผลลัพธ์การเปิดตัวในหน้า Crashlytics จะวัดผู้ใช้ทั้งหมดที่ เคย เห็นตัวเลือกที่ เกี่ยวข้อง ไม่ว่าจะเป็น เปิดใช้ หรือ ควบคุม คุณสามารถเลือกดูข้อขัดข้องของกลุ่มควบคุม ข้อขัดข้องของกลุ่มเปิดใช้ หรือทั้ง 2 อย่าง
Google Analytics ผลลัพธ์สำหรับการเปิดตัว
ส่วนผลลัพธ์การเปิดตัว Google Analytics จะเปรียบเทียบ Analytics เมตริกสำหรับผู้ใช้ทั้งหมดที่เคยเห็นกลุ่มเปิดใช้หรือกลุ่มควบคุม โดยละเอียดและในมุมมองกราฟ ระบบจะแสดงเมตริก 3 รายการ ดังนี้
- รายได้ทั้งหมด: แสดงยอดรวมของรายได้ ซึ่งรวมถึงรายได้จากโฆษณาและรายได้จากการซื้อเป็นสกุลเงินดอลลาร์สหรัฐ คุณสามารถกรองผลลัพธ์เพื่อแสดงผลลัพธ์สำหรับรายได้จากโฆษณาหรือรายได้จากการซื้อโดยเฉพาะ
- Conversion ทั้งหมด: แสดงจำนวนดิบของผลรวมของเหตุการณ์ Conversion ทั้งหมด คุณสามารถกรองผลลัพธ์ตาม Conversion ที่ต้องการไฮไลต์
- เวลาในการมีส่วนร่วมทั้งหมด: แสดงเวลาในการมีส่วนร่วมทั้งหมดที่ผู้ใช้ใช้กับตัวเลือกการเปิดตัวตัวเลือกใดตัวเลือกหนึ่ง เวลาในการมีส่วนร่วมทั้งหมดจะแสดงในรูปแบบชั่วโมง:นาที:วินาที เช่น 01:31:28 กราฟจะแสดงข้อมูลจากระยะเวลาที่คุณเลือกไว้เหนือส่วน Crashlytics