เกี่ยวกับการเปิดตัวการกำหนดค่าระยะไกล

คู่มือนี้จะให้ข้อมูลเกี่ยวกับแนวคิดหลักที่เกี่ยวข้องกับการเปิดตัวการกำหนดค่าระยะไกล ดังนั้น โดยคุณสามารถทำสิ่งต่อไปนี้

ทำความเข้าใจการเปิดตัวการเป็นสมาชิกกลุ่ม

เมื่อคุณสร้างการเปิดตัวใหม่และกำหนดเปอร์เซ็นต์ Firebase จะวางพารามิเตอร์ กลุ่มเป้าหมายที่มีขนาดเท่ากันลงในกลุ่มควบคุมเพื่อให้ได้ผลลัพธ์ที่แม่นยำ เมื่อเปรียบเทียบประสิทธิภาพของฟีเจอร์ที่เปิดใช้ ซึ่งส่งผลให้ กลุ่มต่อไปนี้

  • เปิดใช้: อุปกรณ์ของผู้ใช้ที่กำหนดให้กับกลุ่มนี้จะได้รับค่าที่คุณ กำหนดค่าในการเปิดตัว
  • การควบคุม: อุปกรณ์ของผู้ใช้ที่กำหนดให้กับกลุ่มนี้จะได้รับค่า ที่พวกเขาจะได้รับจากการกำหนดค่าระยะไกล ไม่ใช่การเปิดตัว
  • ไม่ได้กำหนด: อุปกรณ์ของผู้ใช้ในกลุ่มนี้จะได้รับค่าหากไม่ระบุ ที่ได้รับจากการกำหนดค่าระยะไกล แต่ไม่ได้นำไปใช้ในการเปิดตัว ผลลัพธ์ในการเปรียบเทียบ

กล่าวคือ หากคุณเปิดตัวกับผู้ใช้จำนวน 2% ระบบจะเพิ่มผู้ใช้ลงใน และผู้ใช้อีก 2% จะถูกเพิ่มลงในกลุ่มควบคุม ซึ่งจะใช้เพื่อเปรียบเทียบ ผู้ใช้ 96% ของคุณอยู่ในสถานะ "ยังไม่ได้มอบหมาย"

วิธีนี้จะทำให้เปรียบเทียบประสิทธิภาพของผู้ใช้และกับ อุปกรณ์ที่ได้รับมูลค่าการเปิดตัว และอุปกรณ์ที่ไม่ได้รับและอนุญาตให้คุณ สามารถระบุความสำเร็จหรือความล้มเหลวของการเปิดตัวใน การเปิดตัว หน้าผลลัพธ์

การมอบหมายกลุ่มการเปิดตัวจะสอดคล้องกันในทุกระยะของการเปิดตัว นั่นคือ ภายในการเปิดตัวครั้งเดียวกัน หากคุณลดเปอร์เซ็นต์ลงเหลือ 0% ผู้ใช้ทุกคนจะ เปลี่ยนกลับเป็นรับค่าพารามิเตอร์ที่กำหนดไว้ในการกำหนดค่าระยะไกล เทมเพลต หากต่อมาคุณตัดสินใจเพิ่มเปอร์เซ็นต์การเปิดตัว ผู้ใช้ที่เคย ส่วนหนึ่งของกลุ่ม "เปิดใช้" หรือ "ควบคุม" ก่อนหน้านี้จะกลับไปที่กลุ่มดังกล่าว ถูกกำหนดตั้งแต่ต้นและจะได้รับค่าที่สอดคล้องกับกลุ่มเหล่านั้น

เมื่อยืนยันแล้วว่ารุ่นของคุณประสบความสำเร็จและตัดสินใจที่จะเปิดตัวอย่างเต็มรูปแบบ ไปยังผู้ใช้เป้าหมาย 100% Firebase จะไม่ใช้กลุ่มควบคุมและทั้งหมดอีกต่อไป ผู้ใช้และอุปกรณ์เป้าหมายจะได้รับค่าการเปิดตัว

ควรใช้การเปิดตัวกับการทดสอบ A/B เมื่อใด

การเปิดตัวการกำหนดค่าระยะไกลและการทดสอบ A/B มีความเหมาะสมสำหรับการใช้งานที่แตกต่างกันเล็กน้อย และสามารถใช้เสริมกันได้

การเปิดตัวจะทยอยเปิดตัวและมักมีการใช้เพื่อเปิดตัวฟีเจอร์ใหม่ ให้กับกลุ่มผู้ใช้ที่เลือกไว้ คุณอาจต้องการกำหนดเป้าหมายผู้ใช้ใน หรือการใช้แอปเวอร์ชันที่เจาะจง ใช้การเปิดตัวเพื่อลดความเสี่ยง เพื่อทดสอบฟีเจอร์ใหม่ในสภาพแวดล้อมการใช้งานจริง พร้อมการควบคุมที่แน่นหนา คุณจะดูประสิทธิภาพของฟีเจอร์นี้ได้ คุณยังตรวจสอบวิธีที่แบ็กเอนด์ บริการต่างๆ จะทำงานเมื่อมีการเพิ่มฟีเจอร์ใหม่เข้ามา และการใช้งานโดยประมาณ เพื่อให้แน่ใจว่าการเปลี่ยนแปลงของคุณสามารถปรับขนาดได้ ก่อนที่จะเผยแพร่ไปยังผู้ชมในวงกว้างขึ้น

การเปิดตัวเป็นเครื่องมือที่ยอดเยี่ยมสำหรับสถานการณ์ที่คุณจะปรับใช้ ฟีเจอร์ที่เปลี่ยนฟังก์ชันการทำงานไปอย่างมาก การเปลี่ยนแปลงที่อาจส่งผลให้ ผลลัพธ์ที่คาดเดาไม่ได้ หรือการเปลี่ยนแปลงที่อาจส่งผลต่อโครงสร้างพื้นฐานแบ็กเอนด์ บริการ หรือ API ภายนอก

การทดสอบ A/B ให้คุณดำเนินการต่อไปนี้ได้ แสดงองค์ประกอบฟีเจอร์หรือองค์ประกอบของแอปหลายเวอร์ชัน ตัวอย่างเช่น การอัปเดตรูปลักษณ์ของ UI, การเปลี่ยนข้อความโฆษณา, การอัปเดตระดับเกม ความยาก จากนั้นคุณสามารถแสดงเวอร์ชันต่างๆ ให้กับผู้ใช้เพื่อเรียนรู้ ตัวเลือกใดให้ผลลัพธ์ที่ดีกว่าตามเมตริกที่คุณเลือก (เช่น ผู้ใช้ การมีส่วนร่วม การคลิกโฆษณา และรายได้)

ใช้การทดสอบ A/B สำหรับการตัดสินใจ การเพิ่มประสิทธิภาพ และการใช้ข้อมูล การทำความเข้าใจผู้ใช้ การตั้งค่าส่วนตัว เหมาะสำหรับกรณีที่ คุณมีตัวเลือกหลายรายการที่เทียบเคียงกันได้ และมีเป้าหมายที่เฉพาะเจาะจงมาก ตัวอย่างเช่น การทดสอบ A/B เหมาะสำหรับการเปลี่ยนแปลงที่คุณต้องการปรับเปลี่ยนแอป เพื่อปรับปรุงเมตริกที่เฉพาะเจาะจง เช่น การทดสอบว่าโฆษณาแบนเนอร์วางตำแหน่งใด ช่วยเพิ่มจำนวนคลิก

ขอแนะนำให้รวมการเปิดตัวการกำหนดค่าระยะไกลเข้ากับการทดสอบ A/B ภายใน กลยุทธ์ที่ครอบคลุม: ก่อนอื่นให้สร้างการทดสอบ A/B ที่มีชุดการทดสอบแบบจำกัด เพื่อกำหนดตัวแปรที่ให้ผลดีที่สุดสําหรับ เมตริกที่สำคัญ จากนั้น หลังจากที่การทดสอบ A/B ได้ระบุ หัวหน้าทีม ให้สร้าง เปิดตัวด้วยตัวแปร ที่ชนะ ตรวจสอบความเสถียรและเมตริกที่สำคัญ คุณจะเพิ่มจำนวนผู้ใช้ที่เห็นโฆษณาค่อยๆ เพิ่มขึ้น และหลังจากที่คุณ มั่นใจในประสิทธิภาพ เปิดตัวแคมเปญออกมา 100%

ทำความเข้าใจผลการเปิดตัว

หลังจากเผยแพร่การเปิดตัว คุณควรเริ่มเห็นผลลัพธ์แทบจะในทันที

คุณสามารถดูผลลัพธ์ได้หลายวิธีดังนี้

  • จากหน้าพารามิเตอร์ ให้ขยายพารามิเตอร์ที่คุณกําหนดค่าไว้สําหรับ เปิดตัวและคลิกดูผลลัพธ์ใต้การเปิดตัว
  • จากหน้าการเปิดตัว ให้คลิกชื่อการเปิดตัว

ตัวเลือกแอปที่ด้านบนของหน้าผลลัพธ์ช่วยให้คุณเลือกมุมมองสำหรับ บางแอปเท่านั้น ผลลัพธ์จะแบ่งออกเป็นหลายส่วนดังนี้

  • ส่วนสรุป ซึ่งแสดงเปอร์เซ็นต์การเปิดตัวที่กำหนดค่าไว้ และทำให้สามารถย้อนกลับหรือแก้ไขการเปิดตัวได้ เมื่อขยาย แสดงภาพรวมรายละเอียดการกำหนดค่าของการเปิดตัวและการเปลี่ยนแปลง ทั้งหมด

  • ส่วนผู้ใช้ ซึ่งแสดงจำนวนแอปที่ไม่ซ้ำกัน การติดตั้งที่ได้ดึงข้อมูลเทมเพลตการเปิดตัวใน กลุ่ม:

    • เปิดใช้: จำนวนอินสแตนซ์ของแอปที่ตรงกับการเปิดตัวเป้าหมาย และได้ดึงข้อมูลค่าการเปิดตัวแล้ว
    • การควบคุม: จำนวนอินสแตนซ์ของแอปที่ตรงกับการเปิดตัวเป้าหมาย และได้ดึงค่าที่ไม่เปลี่ยนแปลงแล้ว
    • เป้าหมาย: จำนวนอินสแตนซ์ทั้งหมดโดยประมาณที่ตรงกับ ที่คุณกำหนดในการเปิดตัว ซึ่งควรได้รับ หรือค่าที่ไม่มีการเปลี่ยนแปลง

    ดูข้อมูลเพิ่มเติมที่ ทำความเข้าใจการเปิดตัวการเป็นสมาชิกกลุ่ม

  • Crashlytics และ ส่วน Analytics ซึ่งแสดงข้อมูลการเปรียบเทียบ สำหรับกลุ่มที่เปิดใช้และกลุ่มควบคุม คุณสามารถกรองข้อมูลที่เก็บรวบรวมไว้สำหรับ 24 ชั่วโมงที่ผ่านมา ตั้งแต่การเผยแพร่ล่าสุด หรือ 7 วันที่ผ่านมา 24 ชั่วโมงที่ผ่านมา เป็นมุมมองเริ่มต้น

ผลลัพธ์ของ Crashlytics สำหรับการเปิดตัว

คุณจะเห็นจำนวนข้อขัดข้อง ข้อขัดข้อง ข้อขัดข้อง และ ANR ทั้งหมด เกิดขึ้นระหว่างการเปิดตัว ผลการค้นหาแต่ละหมวดหมู่จะแสดงกราฟแท่ง เปรียบเทียบผลรวมดิบของผู้ใช้ที่เปิดใช้และตัวควบคุมที่ตรงตาม เงื่อนไขของการเปิดตัว

  • ข้อขัดข้อง: แสดงจำนวนและเปอร์เซ็นต์ของข้อขัดข้อง และจำนวนข้อขัดข้อง ผู้ใช้ที่ไม่ซ้ำซึ่งพบข้อขัดข้องในกลุ่ม "เปิดใช้" และ "ควบคุม"
  • ไม่ร้ายแรง: แสดงจำนวนและเปอร์เซ็นต์ของข้อผิดพลาดที่ไม่ร้ายแรง จำนวน ของผู้ใช้ที่ไม่ซ้ำซึ่งพบข้อผิดพลาดที่ไม่ร้ายแรง
  • ANR (แอป Android เท่านั้น): แสดงจํานวนและเปอร์เซ็นต์ของ "แอปพลิเคชันไม่ตอบสนอง" กิจกรรม และจำนวนผู้ใช้ที่ไม่ซ้ำ ที่พบเหตุการณ์ ANR อย่างน้อย 1 รายการ

หากต้องการข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับข้อขัดข้อง คุณสามารถคลิกดูข้อมูลเพิ่มเติมใน Crashlytics การดำเนินการนี้จะเปิดหน้า Crashlytics ซึ่งมีตัวกรองที่ใช้งานอยู่สำหรับ การเปิดตัวที่คุณกําลังตรวจสอบผลลัพธ์ ผลการเปิดตัวใน หน้า Crashlytics จะวัดผู้ใช้ทั้งหมดที่เคยเห็น ตัวแปรที่เกี่ยวข้อง, Enabled หรือ Control คุณสามารถเลือกดูการควบคุม การขัดข้องแบบกลุ่ม การขัดข้องกลุ่มที่เปิดใช้ หรือทั้ง 2 อย่าง

ผลลัพธ์ของ Google Analytics สำหรับการเปิดตัว

ส่วนผลการเปิดตัว Google Analytics จะเปรียบเทียบ Analytics สำหรับผู้ใช้ทั้งหมดที่เคยเห็นเมตริก "เปิดใช้" หรือ "ควบคุม" กลุ่มโดยละเอียดและในมุมมองกราฟ โดยมีเมตริก 3 รายการ ได้แก่

  • รายได้ทั้งหมด: แสดงจํานวนรายได้ทั้งหมด รวมถึงรายได้จากโฆษณา และรายได้จากการซื้อเป็นสกุลเงิน USD คุณสามารถกรอง เพื่อแสดงผลลัพธ์สำหรับรายได้จากโฆษณาหรือรายได้จากการซื้อโดยเฉพาะ
  • Conversion ทั้งหมด: แสดงจำนวนดิบของผลรวมของ Conversion ทั้งหมด กิจกรรม คุณกรองผลลัพธ์ตาม Conversion ที่ต้องการได้ ไฮไลต์
  • เวลาในการมีส่วนร่วมทั้งหมด: แสดงเวลาการมีส่วนร่วมทั้งหมดที่ผู้ใช้ของคุณ โดยใช้กับตัวแปรการเปิดตัวรายการหนึ่ง เวลาในการมีส่วนร่วมทั้งหมดจะแสดง ในรูปแบบชั่วโมง:นาที:วินาที เช่น 01:31:28 กราฟแสดง จากระยะเวลาที่เลือกด้านบนส่วน Crashlytics

ขั้นตอนถัดไป