การทดสอบ A/B สองเวอร์ชันของโมเดล

หลังจากที่คุณฝึกโมเดลแบบกำหนดเองใหม่หรือโมเดล AutoML Vision Edge แล้ว คุณสามารถใช้การทดสอบ A/B เพื่อดูว่าโมเดลใหม่ทำงานได้ดีเพียงใดในสภาวะจริง เมื่อเทียบกับโมเดลที่คุณใช้อยู่แล้ว หลังจากที่คุณยืนยันว่าโมเดลใหม่ของคุณได้รับการปรับปรุงแล้ว คุณสามารถเปิดตัวโมเดลใหม่ให้กับผู้ใช้ทั้งหมดของคุณได้อย่างง่ายดาย โดยไม่ต้องอัปเดตแอป

หน้านี้แสดงวิธีที่คุณอาจดำเนินการทดสอบ A/B ที่ประเมินแบบจำลองสองเวอร์ชันที่ขับเคลื่อนคุณลักษณะการค้นหาพืชเชิงภาพสมมุติ ฟีเจอร์นี้ใช้โมเดลการติดป้ายกำกับรูปภาพแบบกำหนดเองเพื่อช่วยให้ผู้ใช้ระบุพันธุ์พืชจากรูปภาพของพวกเขา

สมมติว่าคุณเพิ่งเผยแพร่แบบจำลองการติดฉลากโรงงานใหม่ plant_labeler_v2 และคุณต้องการทำการทดสอบที่เปรียบเทียบกับแบบจำลองปัจจุบันของคุณที่ชื่อว่า plant_labeler_v1 ขั้นตอนด้านล่างแสดงวิธีตั้งค่าการทดสอบ เรียกใช้ และดำเนินการกับผลลัพธ์

1. ทำให้โมเดลของคุณสามารถกำหนดค่าได้จากระยะไกล

ขั้นตอนแรกในการทดสอบ A/B โมเดลของคุณคือการแก้ไขแอปของคุณให้ใช้พารามิเตอร์การกำหนดค่าระยะไกลเพื่อพิจารณาว่าจะใช้โมเดลใด ในตอนแรก คุณจะตั้งค่าเริ่มต้นของพารามิเตอร์นี้ให้เป็นโมเดลที่แอปของคุณใช้อยู่แล้ว แต่เนื่องจากชื่อโมเดลถูกควบคุมโดยพารามิเตอร์ที่กำหนดค่าได้จากระยะไกล คุณจึงสามารถเปลี่ยนแปลงและทดลองกับโมเดลต่างๆ ได้โดยไม่ต้องพุชการอัปเดตแอปไปที่ ผู้ใช้บริการทุกครั้ง

ดังนั้น หากคุณเผยแพร่โมเดลปัจจุบันของคุณภายใต้ชื่อ plant_labeler_v1 คุณจะต้องตั้ง plant_labeler_v1 ในโค้ดการเริ่มต้นแอปเป็นค่าเริ่มต้นของพารามิเตอร์ plant_labeler_model ดังตัวอย่างต่อไปนี้:

let remoteConfig = RemoteConfig.remoteConfig()
let defaults = [
    "plant_labeler_model": "plant_labeler_v1" as NSObject,
    // ...
]
remoteConfig.setDefaults(defaults)
remoteConfig.fetchAndActivate()

FIRRemoteConfig *remoteConfig = [FIRRemoteConfig remoteConfig];
NSDictionary<NSString *, NSObject *> *defaults = @{
  @"plant_labeler_model" : (NSObject *)@"plant_labeler_v1",
  // ...
};
[remoteConfig setDefaults:defaults];
[remoteConfig fetchAndActivateWithCompletionHandler:nil];

จากนั้น เปลี่ยนรหัสการตั้งค่าโมเดลของคุณเพื่อโหลดโมเดลที่ระบุโดยพารามิเตอร์ plant_labeler_model :

let rcValue = remoteConfig.configValue(forKey: "plant_labeler_model")
guard let remoteModelName = rcValue.stringValue else { return }

// ...

let remoteModel = RemoteModel(
    name: remoteModelName,
    allowsModelUpdates: true,
    initialConditions: initialConditions,
    updateConditions: updateConditions
)
ModelManager.modelManager().register(remoteModel)

// Optionally configure a local model:
// https://firebase.google.com/docs/ml/ios/label-images-with-automl#configure-a-local-model-source
// https://firebase.google.com/docs/ml/ios/use-custom-models#configure_a_local_model

FIRRemoteConfigValue *rcValue = [remoteConfig configValueForKey:@"plant_labeler_model"];
NSString *remoteModelName = [rcValue stringValue];

// ...

FIRRemoteModel *remoteModel = [[FIRRemoteModel alloc] initWithName:remoteModelName
                                                allowsModelUpdates:YES
                                                 initialConditions:initialConditions
                                                  updateConditions:updateConditions];
[[FIRModelManager modelManager] registerRemoteModel:remoteModel];

// Optionally configure a local model:
// https://firebase.google.com/docs/ml/android/label-images-with-automl#configure-a-local-model-source
// https://firebase.google.com/docs/ml/android/use-custom-models#configure_a_local_model

ตอนนี้แอปของคุณใช้พารามิเตอร์การกำหนดค่าระยะไกลเพื่อกำหนดโมเดลที่จะโหลด คุณสามารถเปลี่ยนโมเดลได้เพียงแค่เผยแพร่โมเดลใหม่และกำหนดชื่อให้กับพารามิเตอร์การกำหนดค่าระยะไกล ความสามารถนี้ทำให้การทดสอบ A/B กำหนดโมเดลที่แตกต่างกันให้กับผู้ใช้ที่แตกต่างกันเพื่อวัตถุประสงค์ในการเปรียบเทียบ

ก่อนที่คุณจะดำเนินการต่อ ให้เพิ่มสิ่งต่อไปนี้ในโค้ดดาวน์โหลดโมเดลของคุณด้วย:

NotificationCenter.default.addObserver(
    forName: .firebaseMLModelDownloadDidSucceed,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let _ = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel,
        model.name == remoteModelName
        else { return }
    // If the model downloaded was specified by a remote parameter, log an
    // event, which will be our experiment's activation event.
    if rcValue.source == .remote {
        Analytics.logEvent("nondefault_model_downloaded", parameters: nil)
    }
}

__weak typeof(self) weakSelf = self;

[NSNotificationCenter.defaultCenter
    addObserverForName:FIRModelDownloadDidSucceedNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }

              FIRRemoteModel *model = note.userInfo[FIRModelDownloadUserInfoKeyRemoteModel];
              if ([model.name isEqualToString:remoteModelName] &&
                  rcValue.source == FIRRemoteConfigSourceRemote) {
                // If the model downloaded was specified by a remote parameter, log an
                // event, which will be our experiment's activation event.
                [FIRAnalytics logEventWithName:@"nondefault_model_downloaded" parameters:nil];
              }
            }];

โค้ดด้านบนบันทึกเหตุการณ์ Analytics ที่กำหนดเองซึ่งคุณจะใช้ในภายหลังเป็นการทดสอบ เหตุการณ์การเปิดใช้งาน . เหตุการณ์การเปิดใช้งานคือเหตุการณ์ที่ผู้ใช้ต้องทริกเกอร์ก่อนที่จะถือว่าเป็นส่วนหนึ่งของการทดสอบ เพื่อให้แน่ใจว่าผู้ใช้จะไม่ถูกบันทึกในการทดสอบ A/B ของคุณจนกว่าอุปกรณ์จะดาวน์โหลดโมเดล ML ที่กำหนดเองเสร็จสิ้น

2. กำหนดตัวชี้วัดเป้าหมาย

ขั้นตอนต่อไปคือการตัดสินใจว่าคุณจะวัดความสำเร็จของโมเดลของคุณอย่างไร และเพื่อให้แน่ใจว่าแอปของคุณรวบรวมข้อมูลที่จำเป็นเพื่อทดสอบว่าเวอร์ชันต่างๆ ของโมเดลทำงานได้ดีเพียงใดตามการวัดนั้น

การทดสอบ A/B มีเมตริกในตัวหลายรายการ รวมถึงรายได้ การมีส่วนร่วมรายวัน และการคงผู้ใช้ไว้ ตัวชี้วัดเหล่านี้มักจะมีประโยชน์สำหรับการทดสอบโฟลว์ UX ต่างๆ หรือการปรับแต่งพารามิเตอร์ แต่อาจไม่สมเหตุสมผลสำหรับการประเมินโมเดลและกรณีการใช้งานของคุณ ในสถานการณ์นี้ คุณสามารถลองเพิ่มประสิทธิภาพสำหรับเหตุการณ์ Analytics ที่กำหนดเองแทนได้

การใช้คุณลักษณะการค้นหาพืชด้วยภาพสมมุติเป็นตัวอย่าง สมมติว่าคุณนำเสนอผลการค้นหาแก่ผู้ใช้ของคุณตามลำดับความเชื่อมั่นของแบบจำลองในแต่ละผลลัพธ์ วิธีหนึ่งที่คุณจะได้ทราบถึงความแม่นยำของโมเดลของคุณคือการดูว่าผู้ใช้เปิดผลการค้นหาแรกบ่อยเพียงใด

เพื่อทดสอบว่าโมเดลใดบรรลุเป้าหมายในการเพิ่มจำนวนคลิกผลลัพธ์สูงสุดได้ดีที่สุด คุณจะต้องบันทึกเหตุการณ์ที่กำหนดเองทุกครั้งที่ผู้ใช้แตะรายการแรกในรายการผลลัพธ์

Analytics.logEvent("first_result_opened", parameters: nil)

[FIRAnalytics logEventWithName:@"first_result_opened" parameters:nil];

เมตริกที่คุณทดสอบในท้ายที่สุดจะขึ้นอยู่กับว่าแอปของคุณใช้โมเดลของคุณอย่างไร

ณ จุดนี้ คุณสามารถปรับใช้แอปของคุณกับ App Store ได้ แอปของคุณจะยังคงใช้โมเดลเดิมของคุณ แต่โค้ดการกำหนดค่าระยะไกลและ Analytics ที่คุณเพิ่มจะช่วยให้คุณสามารถทดสอบโมเดลต่างๆ ได้โดยใช้คอนโซล Firebase เท่านั้น

3. เรียกใช้การทดสอบ A/B Testing

ตอนนี้แอปของคุณอยู่ในมือผู้ใช้แล้วและกำลังรวบรวมข้อมูลการวิเคราะห์ ให้สร้างการทดสอบ A/B Testing ที่ทดสอบผลกระทบของการใช้โมเดลใหม่แทนโมเดลปัจจุบัน

หากต้องการสร้างการทดสอบ:

1. ในหน้า เหตุการณ์ ของคอนโซล Firebase ให้ตรวจสอบว่าคุณกำลังบันทึกเหตุการณ์ Analytics ที่เกี่ยวข้อง: เหตุการณ์การเปิดใช้งานและเมตริกเป้าหมาย

   แอปของคุณจะต้องบันทึกแต่ละเหตุการณ์อย่างน้อยหนึ่งครั้งก่อนที่จะปรากฏในคอนโซล Firebase

2. ในคอนโซล Firebase ให้เปิดส่วน การทดสอบ A/B

3. สร้างการทดสอบใหม่:

   1. คลิก สร้างการทดลอง > การกำหนดค่าระยะไกล

   2. ในส่วน การกำหนดเป้าหมาย :

      • เลือกแอปของคุณจากรายการ
      • ระบุจำนวนผู้ใช้ที่คุณต้องการรวมไว้ในการทดสอบ
      • เลือกเหตุการณ์การเปิดใช้งานที่คุณเริ่มบันทึก (ในตัวอย่างนี้ nondefault_model_downloaded )

   3. ในส่วน เป้าหมาย เลือกเมตริกเป้าหมายที่คุณกำหนดไว้ในส่วนก่อนหน้า (ในตัวอย่างนี้ first_result_opened ) จากรายการเมตริกเป้าหมาย และเลือกเมตริกเพิ่มเติมที่คุณต้องการติดตาม เช่น รายได้จากการซื้อหรือผู้ใช้ที่ไม่พบข้อขัดข้อง

   4. ในส่วนตัว เลือกสินค้า ให้กำหนดตัวเลือกสินค้าสองรายการ:

      • กลุ่มควบคุม (สร้างขึ้นโดยอัตโนมัติ)
      • เครื่องติดฉลากพืชทดลอง

      สำหรับ กลุ่มควบคุม ให้สร้างพารามิเตอร์ plant_labeler_model และตั้งค่าเป็น plant_labeler_v1 ผู้ใช้ที่กำหนดให้กับกลุ่มควบคุมจะใช้รุ่นเก่า (อย่าตั้งค่าพารามิเตอร์เป็น (no change) เนื่องจากในแอปของคุณ คุณกำลังทดสอบว่าคุณกำลังใช้ค่าระยะไกล)

      สำหรับตัวแปร เครื่องติดป้ายกำกับพืชแบบทดลอง ให้ตั้งค่าพารามิเตอร์ plant_labeler_model เป็น plant_labeler_v2 (สมมติว่าคุณเผยแพร่โมเดลใหม่ภายใต้ชื่อนั้น) ผู้ใช้ที่กำหนดให้กับตัวแปรนี้จะใช้โมเดลใหม่

   

เริ่มต้นการทดสอบและปล่อยให้การทดสอบทำงานเป็นเวลาหลายวันหรือมากกว่านั้น จนกว่าการทดสอบ A/B จะประกาศผู้นำ หากการทดสอบไม่สามารถระบุผู้นำได้ คุณอาจต้อง ขยายการทดสอบไปยังผู้ใช้จำนวนมากขึ้น

4. เปิดตัวเวอร์ชันที่ชนะให้กับผู้ใช้ทุกคน

หลังจากที่การทดสอบ A/B ได้รวบรวมข้อมูลเพียงพอที่จะประกาศผู้นำ ในกรณีนี้คือรูปแบบที่เพิ่มการคลิกผลการค้นหาอันดับต้นๆ สูงสุด คุณจะตัดสินใจได้ว่าจะเปิดตัวรูปแบบที่ชนะ (หรือรูปแบบอื่น) ให้กับผู้ใช้ทั้งหมดของคุณหรือไม่

ในส่วน การทดสอบ A/B ของ คอนโซล Firebase ให้เปิดมุมมองรายละเอียดของการทดสอบที่เสร็จสมบูรณ์ จากมุมมองนี้ คุณสามารถดูประสิทธิภาพของแต่ละตัวแปรตามเมตริกเป้าหมายและเมตริกรองที่คุณเลือก ด้วยข้อมูลนี้ คุณจะตัดสินใจได้ว่าจะเปิดตัวรุ่นหลักหรือรุ่นอื่น

หากต้องการเปิดตัวตัวแปรให้กับผู้ใช้ทุกคน ให้คลิก more_vert > เปิดตัวตัวแปร ในหน้ารายละเอียดของการทดสอบ เมื่อคุณทำเช่นนั้น ค่าของพารามิเตอร์ plant_labeler_model จะเป็น plant_labeler_v2 สำหรับผู้ใช้ทั้งหมด

ในการอัปเดตแอปในอนาคต คุณควรเปลี่ยนค่าเริ่มต้นของพารามิเตอร์ plant_labeler_model เป็น plant_labeler_v2 และอัปเดตโมเดลแบบรวมหากคุณใช้ ผู้ใช้ของคุณใช้เวอร์ชันล่าสุดอยู่แล้ว ดังนั้นคุณจึงสามารถพุชการอัปเดตนี้เป็นส่วนหนึ่งของแอปที่เผยแพร่ได้ทุกเมื่อที่สะดวก เช่น เมื่อคุณทำการอัปเดตฟีเจอร์ครั้งถัดไป