Join us for Firebase Summit on November 10, 2021. Tune in to learn how Firebase can help you accelerate app development, release with confidence, and scale with ease. Register

สร้างการทดสอบการกำหนดค่าระยะไกลของ Firebase ด้วยการทดสอบ A/B

เมื่อคุณอัปเดตแอปและใช้การกำหนดค่าระยะไกลของ Firebase เพื่อพุชไปยังแอปพลิเคชันที่มีฐานผู้ใช้ที่ใช้งานอยู่ คุณต้องการให้แน่ใจว่าคุณทำให้ถูกต้อง คุณอาจไม่แน่ใจเกี่ยวกับสิ่งต่อไปนี้:

  • วิธีที่ดีที่สุดในการใช้คุณลักษณะเพื่อเพิ่มประสิทธิภาพประสบการณ์ผู้ใช้ บ่อยครั้ง นักพัฒนาแอปไม่ได้เรียนรู้ว่าผู้ใช้ของตนไม่ชอบคุณลักษณะใหม่หรือประสบการณ์ของผู้ใช้ที่อัปเดตจนกว่าคะแนนของแอปใน App Store จะลดลง การทดสอบ A/B สามารถช่วยวัดได้ว่าผู้ใช้ของคุณชอบคุณลักษณะใหม่ๆ หรือไม่ หรือว่าพวกเขาชอบแอปที่มีอยู่ในปัจจุบันหรือไม่ นอกจากนี้ การรักษาผู้ใช้ส่วนใหญ่ของคุณให้อยู่ในกลุ่มควบคุมช่วยให้มั่นใจว่าฐานผู้ใช้ส่วนใหญ่สามารถใช้แอปของคุณต่อไปได้โดยไม่ประสบกับการเปลี่ยนแปลงใดๆ ต่อพฤติกรรมหรือรูปลักษณ์จนกว่าการทดสอบจะสิ้นสุดลง
  • วิธีที่ดีที่สุดในการเพิ่มประสิทธิภาพประสบการณ์ผู้ใช้สำหรับเป้าหมายทางธุรกิจ บางครั้ง คุณกำลังใช้การเปลี่ยนแปลงผลิตภัณฑ์เพื่อเพิ่มเมตริก เช่น รายได้หรือการรักษาลูกค้าให้สูงสุด การทดสอบ A/B ช่วยให้คุณกำหนดวัตถุประสงค์ทางธุรกิจได้ และ Firebase จะทำการวิเคราะห์ทางสถิติเพื่อพิจารณาว่าตัวแปรใดมีประสิทธิภาพเหนือกว่ากลุ่มควบคุมสำหรับวัตถุประสงค์ที่คุณเลือก

ในการทดสอบ A/B ตัวแปรต่างๆ กับกลุ่มควบคุม ให้ทำดังต่อไปนี้:

  1. สร้างการทดสอบของคุณ
  2. ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ
  3. จัดการการทดลองของคุณ

สร้างการทดลอง

การทดลอง Config ระยะไกลช่วยให้คุณสามารถประเมินหลายสายพันธุ์ในหนึ่งหรือมากกว่า พารามิเตอร์ Config ระยะไกล

  1. เข้าสู่ระบบ Firebase ปรับปรุง ตั้งค่าการแชร์ข้อมูล และให้แน่ใจว่าการแบ่งปันข้อมูลถูกเปิดใช้งาน หากไม่มีการเปิดเผยข้อมูล การทดสอบของคุณจะไม่สามารถเข้าถึงข้อมูลการวิเคราะห์ได้
  2. ในการมีส่วนร่วมในส่วนของ คอนโซล Firebase แถบนำทางคลิกทดสอบ A / B
  3. คลิกสร้างการทดสอบแล้วเลือกระยะไกล Config เมื่อได้รับข้อความสำหรับการให้บริการที่คุณต้องการที่จะทดสอบกับ
  4. ใส่ชื่อและตัวเลือกรายละเอียดสำหรับการทดสอบของคุณและคลิก Next
  5. กรอกฟิลด์ที่กำหนดเป้าหมายแรกเลือกแอปที่ใช้การทดสอบของคุณ คุณยังสามารถกำหนดเป้าหมายกลุ่มย่อยของผู้ใช้เพื่อเข้าร่วมในการทดสอบของคุณโดยเลือกตัวเลือกที่มีดังต่อไปนี้:

    • เวอร์ชัน: หนึ่งหรือรุ่นอื่น ๆ ของแอป
    • ผู้ชมผู้ใช้: ผู้ชม Analytics ใช้ในการกำหนดเป้าหมายผู้ใช้ที่อาจจะรวมอยู่ในการทดลอง
    • สถานที่ให้บริการผู้ใช้: หนึ่งหรือมากกว่า Analytics คุณสมบัติของผู้ใช้สำหรับผู้ใช้เลือกที่อาจจะรวมอยู่ในการทดลอง
    • ทำนาย: กลุ่มของผู้ใช้ที่คาดการณ์โดยการเรียนรู้เครื่องจะมีส่วนร่วมในพฤติกรรมโดยเฉพาะอย่างยิ่ง
    • ประเทศ / ภูมิภาค: หนึ่งหรือมากกว่าหนึ่งประเทศหรือภูมิภาคสำหรับผู้ใช้เลือกที่อาจจะรวมอยู่ในการทดลอง
    • ภาษาอุปกรณ์: หนึ่งหรือมากกว่าหนึ่งภาษาและสถานที่ที่ใช้ในการเลือกผู้ใช้ที่อาจจะรวมอยู่ในการทดลอง
  6. ตั้งค่าร้อยละของผู้ใช้เป้าหมาย: ป้อนร้อยละของฐานผู้ใช้แอปของคุณตรงกับเกณฑ์ที่กำหนดภายใต้การกำหนดเป้าหมายผู้ใช้ที่คุณต้องการอย่างสม่ำเสมอแบ่งระหว่างกลุ่มควบคุมและหนึ่งหรือมากกว่าที่สายพันธุ์ในการทดสอบ ค่านี้สามารถเป็นเปอร์เซ็นต์ใดก็ได้ระหว่าง 0.01% ถึง 100% ผู้ใช้จะถูกสุ่มให้แต่ละการทดสอบ รวมถึงการทดสอบที่ซ้ำกัน

  7. คุณสามารถเลือกตั้งค่าเหตุการณ์การเปิดใช้งานเพื่อให้แน่ใจว่าเฉพาะผู้ใช้ที่เรียกใช้เหตุการณ์ Analytics ในครั้งแรกเท่านั้นที่จะถูกนับในการทดสอบของคุณ เพื่อให้แน่ใจว่าการทดลอง vaild ให้แน่ใจว่าเหตุการณ์ที่คุณเลือกเกิดขึ้นหลังจากที่แอปของคุณเปิดใช้งานการกำหนดค่าความจริง เหตุการณ์เช่น first_open หรือ session_start อาจเกิดขึ้นก่อนที่จะ activateFetched() ที่นำไปสู่ผลที่ไม่คาดคิด

  8. สำหรับเป้าหมายของการทดสอบเลือกตัวชี้วัดหลักในการติดตามและเพิ่มตัวชี้วัดเพิ่มเติมใด ๆ ที่ต้องการจากรายการแบบเลื่อนลง ซึ่งรวมถึงวัตถุประสงค์ในตัว (การมีส่วนร่วม การซื้อ รายได้ การเก็บรักษา ฯลฯ) เหตุการณ์ Conversion ของ Analytics และเหตุการณ์ Analytics อื่นๆ เมื่อเสร็จแล้วคลิก Next

  9. ในส่วนสายพันธุ์ที่คุณจะเลือกกลุ่มควบคุมและอย่างน้อยหนึ่งตัวแปรสำหรับการทดสอบ ใช้เลือกหรือสร้างรายการใหม่ที่จะเพิ่มหนึ่งหรือมากกว่าหนึ่งพารามิเตอร์ในการทดสอบด้วย คุณสามารถสร้างพารามิเตอร์ที่ไม่เคยใช้ในคอนโซล Firebase มาก่อนได้ แต่ต้องมีอยู่ในแอปของคุณจึงจะมีผล คุณสามารถทำซ้ำขั้นตอนนี้เพื่อเพิ่มพารามิเตอร์หลายตัวในการทดสอบของคุณ

  10. (อุปกรณ์เสริม) หากต้องการเพิ่มมากกว่าหนึ่งตัวแปรการทดสอบของคุณคลิกเพิ่มตัวแปรอื่น

  11. เปลี่ยนพารามิเตอร์อย่างน้อยหนึ่งรายการสำหรับตัวแปรเฉพาะ พารามิเตอร์ที่ไม่เปลี่ยนแปลงจะเหมือนกันสำหรับผู้ใช้ที่ไม่ได้รวมอยู่ในการทดสอบ

  12. คลิกตรวจสอบเพื่อประหยัดการทดสอบของคุณ

คุณได้รับอนุญาตให้ทำการทดสอบได้สูงสุด 300 รายการต่อโครงการ ซึ่งอาจประกอบด้วยการทดสอบที่ทำงานอยู่ 24 รายการ ส่วนที่เหลือเป็นแบบร่างหรือเสร็จสิ้น

ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ

สำหรับการติดตั้ง Firebase แต่ละครั้ง คุณสามารถเรียกข้อมูลโทเค็นการตรวจสอบสิทธิ์การติดตั้งที่เกี่ยวข้องได้ คุณสามารถใช้โทเค็นนี้เพื่อทดสอบรูปแบบการทดสอบเฉพาะบนอุปกรณ์ทดสอบที่ติดตั้งแอปของคุณ ในการตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ ให้ทำดังต่อไปนี้:

  1. รับโทเค็นการตรวจสอบสิทธิ์การติดตั้งดังนี้:

    Swift

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    วัตถุประสงค์-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    คอตลิน+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
    

    ความสามัคคี

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
        }
      });
    
  2. บน คอนโซล Firebase แถบนำทางคลิกทดสอบ A / B
  3. คลิกแบบร่าง (และ / หรือการเรียกใช้สำหรับการทดลอง Config ระยะไกล), เลื่อนเมาส์ไปทดสอบของคุณคลิกเมนูบริบท ( ) แล้วคลิกจัดการอุปกรณ์การทดสอบ
  4. ป้อนโทเค็นการตรวจสอบสิทธิ์การติดตั้งสำหรับอุปกรณ์ทดสอบ และเลือกรูปแบบการทดสอบเพื่อส่งไปยังอุปกรณ์ทดสอบนั้น
  5. เรียกใช้แอพและยืนยันว่าได้รับตัวแปรที่เลือกบนอุปกรณ์ทดสอบ

ต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการติดตั้ง Firebase ดู จัดการการติดตั้ง Firebase

จัดการการทดลองของคุณ

ไม่ว่าคุณจะสร้างการทดสอบด้วยการกำหนดค่าระยะไกล ตัวเขียนการแจ้งเตือน หรือการส่งข้อความในแอปของ Firebase คุณสามารถตรวจสอบและเริ่มการทดสอบ ตรวจสอบการทดสอบของคุณในขณะที่กำลังทำงาน และเพิ่มจำนวนผู้ใช้ที่รวมอยู่ในการทดสอบที่ทำงานอยู่ของคุณ

เมื่อการทดสอบของคุณเสร็จสิ้น คุณสามารถจดบันทึกการตั้งค่าที่ใช้โดยตัวแปรที่ชนะ จากนั้นจึงเปิดตัวการตั้งค่าเหล่านั้นให้กับผู้ใช้ทั้งหมด หรือคุณสามารถเรียกใช้การทดสอบอื่น

เริ่มการทดลอง

  1. ในการมีส่วนร่วมในส่วนของ คอนโซล Firebase แถบนำทางคลิกทดสอบ A / B
  2. คลิกที่ร่างและจากนั้นคลิกที่ชื่อของการทดสอบ
  3. เพื่อตรวจสอบว่าแอปของคุณมีผู้ใช้ที่จะรวมอยู่ในการทดสอบของคุณขยายรายละเอียดร่างและตรวจสอบมากขึ้นจำนวนกว่า 0% ในการกำหนดเป้าหมายและการกระจายส่วน (เช่น 1% ของผู้ใช้ที่ตรงกับเกณฑ์)
  4. ในการเปลี่ยนการทดสอบของคุณคลิกแก้ไข
  5. ในการเริ่มต้นการทดสอบของคุณคลิกเริ่มการทดลอง คุณสามารถเรียกใช้การทดสอบได้มากถึง 24 ต่อโปรเจ็กต์ในแต่ละครั้ง

ติดตามการทดลอง

เมื่อทำการทดสอบมาระยะหนึ่งแล้ว คุณสามารถตรวจสอบความคืบหน้าและดูว่าผลลัพธ์ของคุณเป็นอย่างไรสำหรับผู้ใช้ที่เข้าร่วมในการทดสอบของคุณจนถึงตอนนี้

  1. ในการมีส่วนร่วมในส่วนของ คอนโซล Firebase แถบนำทางคลิกทดสอบ A / B
  2. คลิกเล่นและจากนั้นคลิกที่ชื่อของการทดสอบ ในหน้านี้ คุณสามารถดูสถิติที่สังเกตและแบบจำลองต่างๆ เกี่ยวกับการทดสอบที่ทำงานอยู่ของคุณ ซึ่งรวมถึงรายการต่อไปนี้:

    • % แตกต่างจาก baseline: เป็นตัวชี้วัดของการพัฒนาตัวชี้วัดสำหรับตัวแปรที่กำหนดเมื่อเทียบกับพื้นฐาน (หรือกลุ่มควบคุม) คำนวณโดยการเปรียบเทียบช่วงค่าสำหรับรายละเอียดปลีกย่อยกับช่วงค่าสำหรับเส้นฐาน
    • ความน่าจะเป็นไปตามจังหวะพื้นฐาน: ประมาณน่าจะเป็นที่เป็นตัวแปรให้เต้นพื้นฐานสำหรับตัวชี้วัดที่เลือก
    • observed_metric ต่อผู้ใช้: ขึ้นอยู่กับผลการทดสอบนี้เป็นช่วงที่คาดการณ์ว่าค่าตัวชี้วัดที่จะตกอยู่ในช่วงเวลา
    • รวม observed_metric : มูลค่าสะสมสังเกตกลุ่มควบคุมหรือตัวแปร ค่าที่จะใช้ในการวัดว่าการทดสอบแต่ละตัวแปรที่มีประสิทธิภาพและมีการใช้ในการคำนวณปรับปรุงช่วงค่าความน่าจะเป็นไปตามจังหวะพื้นฐานและความน่าจะเป็นที่จะเป็นตัวแปรที่ดีที่สุด คอลัมน์นี้อาจมีป้ายกำกับว่า "ระยะเวลาต่อผู้ใช้" "รายได้ต่อผู้ใช้" "อัตราการรักษาลูกค้า" หรือ "อัตรา Conversion" ทั้งนี้ขึ้นอยู่กับเมตริกที่วัด
  3. หลังจากที่การทดสอบของคุณทำงานมาระยะหนึ่งแล้ว (อย่างน้อย 7 วันสำหรับ FCM และการส่งข้อความในแอป หรือ 14 วันสำหรับการกำหนดค่าระยะไกล) ข้อมูลในหน้านี้ระบุว่าตัวแปรใดเป็น "ผู้นำ" หากมี การวัดบางอย่างมาพร้อมกับแผนภูมิแท่งที่แสดงข้อมูลในรูปแบบภาพ

เปิดตัวการทดสอบให้กับผู้ใช้ทุกคน

หลังจากการทดสอบดำเนินไปนานพอที่คุณจะมี "ผู้นำ" หรือตัวแปรที่ชนะสำหรับเมตริกเป้าหมายของคุณ คุณสามารถเปิดตัวการทดสอบกับผู้ใช้ 100% ได้ วิธีนี้ทำให้คุณสามารถเลือกตัวแปรเพื่อเผยแพร่ไปยังผู้ใช้ทั้งหมดได้ในอนาคต แม้ว่าการทดสอบของคุณจะไม่ได้สร้างผู้ชนะที่ชัดเจน คุณยังสามารถเลือกที่จะเปิดตัวตัวแปรให้กับผู้ใช้ทั้งหมดของคุณได้

  1. ในการมีส่วนร่วมในส่วนของ คอนโซล Firebase แถบนำทางคลิกทดสอบ A / B
  2. คลิกที่เสร็จสมบูรณ์หรือเล่นคลิกการทดลองที่คุณต้องการที่จะแผ่ออกให้กับผู้ใช้ทั้งหมดให้คลิกเมนูบริบท ( ) และจากนั้นคลิกม้วนออกมาแตกต่างกัน
  3. เปิดตัวการทดสอบของคุณกับผู้ใช้ทุกคนโดยทำอย่างใดอย่างหนึ่งต่อไปนี้:

    • สำหรับการทดสอบที่ใช้ในการแต่งเพลงการแจ้งเตือนให้ใช้ม้วนออกมาโต้ตอบข้อความที่จะส่งข้อความไปยังผู้ใช้เป้าหมายที่เหลือที่ไม่ได้เป็นส่วนหนึ่งของการทดลอง
    • สำหรับการทดสอบการกำหนดค่าระยะไกล ให้เลือกตัวแปรเพื่อกำหนดค่าพารามิเตอร์การกำหนดค่าระยะไกลที่จะอัปเดต เกณฑ์การกำหนดเป้าหมายที่กำหนดเมื่อสร้างการทดสอบจะถูกเพิ่มเป็นเงื่อนไขใหม่ในเทมเพลตของคุณ เพื่อให้แน่ใจว่าการเปิดตัวจะมีผลกับผู้ใช้ที่กำหนดเป้าหมายโดยการทดสอบเท่านั้น หลังจากคลิกทบทวนในระยะไกล Config เพื่อตรวจสอบการเปลี่ยนแปลงคลิกเผยแพร่การเปลี่ยนแปลงที่จะเสร็จสิ้นการเปิดตัว
    • สำหรับการทดสอบการรับส่งข้อความในแอป ให้ใช้กล่องโต้ตอบเพื่อกำหนดรูปแบบที่ต้องการเปิดตัวเป็นแคมเปญการรับส่งข้อความในแอปแบบสแตนด์อโลน เมื่อเลือกแล้ว คุณจะถูกเปลี่ยนเส้นทางไปยังหน้าจอเขียน FIAM เพื่อทำการเปลี่ยนแปลงใดๆ (ถ้าจำเป็น) ก่อนเผยแพร่

ขยายการทดลอง

หากคุณพบว่าการทดสอบนำผู้ใช้มาไม่เพียงพอสำหรับการทดสอบ A/B ในการประกาศผู้นำ คุณสามารถเพิ่มการกระจายของการทดสอบเพื่อให้เข้าถึงฐานผู้ใช้ของแอปในเปอร์เซ็นต์ที่ใหญ่ขึ้นได้

  1. ในการมีส่วนร่วมในส่วนของ คอนโซล Firebase แถบนำทางคลิกทดสอบ A / B
  2. เลือกการทดสอบที่ทำงานอยู่ที่คุณต้องการแก้ไข
  3. ในภาพรวมของการทดลองให้คลิกเมนูบริบท ( ) และจากนั้นคลิกแก้ไขวิ่งทดสอบ
  4. การกำหนดเป้าหมายโต้ตอบแสดงตัวเลือกที่จะเพิ่มขึ้นร้อยละของผู้ใช้ที่อยู่ในการทดลองที่กำลังทำงานอยู่ เลือกมากกว่าจำนวนกว่าร้อยละในปัจจุบันและคลิกเผยแพร่ การทดสอบจะถูกผลักออกไปเป็นเปอร์เซ็นต์ของผู้ใช้ที่คุณระบุ

ทำซ้ำหรือหยุดการทดลอง

  1. ในการมีส่วนร่วมในส่วนของ คอนโซล Firebase แถบนำทางคลิกทดสอบ A / B
  2. คลิกที่เสร็จสมบูรณ์หรือวิ่ง, เลื่อนเมาส์ไปทดสอบของคุณคลิกเมนูบริบท ( ) และจากนั้นคลิกที่ซ้ำกันทดสอบหรือหยุดการทดสอบ

การกำหนดเป้าหมายผู้ใช้

คุณสามารถกำหนดเป้าหมายผู้ใช้เพื่อรวมในการทดสอบของคุณโดยใช้เกณฑ์การกำหนดเป้าหมายผู้ใช้ต่อไปนี้

เกณฑ์การกำหนดเป้าหมาย ผู้ประกอบการ มูลค่า บันทึก
เวอร์ชั่น ประกอบด้วย,
ไม่มี,
ตรงเป๊ะ
มี regex
ป้อนค่าสำหรับเวอร์ชันแอปอย่างน้อย 1 เวอร์ชันที่คุณต้องการรวมไว้ในการทดสอบ

เมื่อใช้ใด ๆ ของมีไม่ได้มีหรือที่ตรงกันว่าผู้ประกอบการที่คุณสามารถให้รายการคั่นด้วยเครื่องหมายจุลภาคของค่า

เมื่อใช้มีผู้ประกอบการ regex คุณสามารถสร้างนิพจน์ทั่วไปใน RE2 รูปแบบ นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ นอกจากนี้คุณยังสามารถใช้ ^ และ $ เบรกเพื่อให้ตรงกับจุดเริ่มต้นปลายหรือความสมบูรณ์ของสตริงเป้าหมาย

ผู้ชมผู้ใช้ รวมถึงทั้งหมด,
รวมถึงอย่างน้อยหนึ่ง
ไม่รวมทั้งหมด,
ไม่รวมอย่างน้อยหนึ่งรายการ
เลือกผู้ชม Analytics หนึ่งกลุ่มขึ้นไปเพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบของคุณ
คุณสมบัติผู้ใช้ สำหรับข้อความ:
ประกอบด้วย,
ไม่มี,
ตรงทุกประการ
มี regex

สำหรับตัวเลข:
<, ≤, =, ≥, >
พร็อพเพอร์ตี้ผู้ใช้ของ Analytics ใช้เพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ โดยมีตัวเลือกมากมายสำหรับการเลือกค่าพร็อพเพอร์ตี้ผู้ใช้

บนไคลเอนต์ คุณสามารถตั้งค่าสตริงสำหรับคุณสมบัติผู้ใช้เท่านั้น สำหรับเงื่อนไขที่ใช้ตัวดำเนินการตัวเลข บริการ Remote Config จะแปลงค่าของคุณสมบัติผู้ใช้ที่สอดคล้องกันเป็นจำนวนเต็ม/ลอย
เมื่อใช้มีผู้ประกอบการ regex คุณสามารถสร้างนิพจน์ทั่วไปใน RE2 รูปแบบ นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ นอกจากนี้คุณยังสามารถใช้ ^ และ $ เบรกเพื่อให้ตรงกับจุดเริ่มต้นปลายหรือความสมบูรณ์ของสตริงเป้าหมาย
คาดการณ์ ไม่มี กลุ่มเป้าหมายของผู้ใช้ที่กำหนดโดยการคาดการณ์ของ Firebase เช่น ผู้ที่มีแนวโน้มจะหยุดใช้แอปของคุณ หรือผู้ใช้ที่มีแนวโน้มจะทำการซื้อในแอป เลือกค่าใดค่าหนึ่งที่กำหนดโดยเครื่องมือ Firebase Predictions หากไม่มีตัวเลือก คุณอาจต้องเลือกใช้ Firebase Predictions โดยไปที่ส่วน Predictions ของคอนโซล Firebase
ประเทศของอุปกรณ์ ไม่มี ใช้ประเทศหรือภูมิภาคอย่างน้อยหนึ่งประเทศเพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
ภาษาของอุปกรณ์ ไม่มี ใช้ภาษาและท้องถิ่นอย่างน้อยหนึ่งภาษาเพื่อเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ เกณฑ์การกำหนดเป้าหมายนี้มีให้สำหรับการกำหนดค่าระยะไกลเท่านั้น
เปิดครั้งแรก มากกว่า
น้อยกว่า
ระหว่าง
กำหนดเป้าหมายผู้ใช้โดยพิจารณาจากครั้งแรกที่พวกเขาเปิดแอปของคุณ โดยระบุเป็นวัน เกณฑ์การกำหนดเป้าหมายนี้ใช้ได้กับการรับส่งข้อความในแอปของ Firebase เท่านั้น
การมีส่วนร่วมในแอปล่าสุด มากกว่า
น้อยกว่า
ระหว่าง
กำหนดเป้าหมายผู้ใช้โดยพิจารณาจากครั้งสุดท้ายที่พวกเขามีส่วนร่วมกับแอปของคุณ โดยระบุเป็นวัน เกณฑ์การกำหนดเป้าหมายนี้ใช้ได้กับการรับส่งข้อความในแอปของ Firebase เท่านั้น

เมตริกการทดสอบ A/B

เมื่อคุณสร้างการทดสอบ คุณจะต้องเลือกเมตริกที่ใช้เปรียบเทียบรูปแบบการทดสอบ และคุณยังสามารถเลือกเมตริกอื่นๆ เพื่อติดตามเพื่อช่วยให้คุณเข้าใจรูปแบบการทดสอบแต่ละแบบได้ดีขึ้น และตรวจหาผลข้างเคียงที่มีนัยสำคัญ (เช่น การขัดข้องของแอป) ตารางต่อไปนี้ให้รายละเอียดเกี่ยวกับวิธีการคำนวณตัวชี้วัดเป้าหมายและตัวชี้วัดอื่นๆ

ตัวชี้วัดเป้าหมาย

เมตริก คำอธิบาย
การเก็บรักษา (1 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณทุกวัน
การเก็บรักษา (2-3 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 2-3 วัน
การเก็บรักษา (4-7 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 4-7 วัน
การเก็บรักษา (8-14 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 8-14 วัน
การเก็บรักษา (15+ วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณ 15 วันหลังจากใช้งานครั้งล่าสุด
เปิดแจ้งเตือน ติดตามว่าผู้ใช้เปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือนหรือไม่
รายได้จากการซื้อ มูลค่ารวมทั้งหมด ecommerce_purchase และ in_app_purchase เหตุการณ์
รายได้ AdMob โดยประมาณ รายได้โดยประมาณจาก AdMob
รายได้รวมโดยประมาณ มูลค่ารวมสำหรับการซื้อและรายได้ AdMob โดยประมาณ
first_open เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อผู้ใช้เปิดแอปครั้งแรกหลังจากติดตั้งหรือติดตั้งใหม่ ใช้เป็นส่วนหนึ่งของช่องทางการแปลง
alert_open เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อผู้ใช้เปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือน ใช้เป็นส่วนหนึ่งของช่องทางการแปลง

ตัวชี้วัดอื่นๆ

เมตริก คำอธิบาย
ผู้ใช้ที่ไม่มีข้อขัดข้อง เปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อผิดพลาดในแอปของคุณที่ Firebase Crashlytics SDK ตรวจพบระหว่างการทดสอบ
alert_dismiss เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อมีการปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือน (Android เท่านั้น)
alert_receive เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อได้รับการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือนในขณะที่แอปอยู่ในพื้นหลัง (Android เท่านั้น)
os_update Analytics ที่เหตุการณ์ที่แทร็คเมื่อระบบปฏิบัติการของอุปกรณ์ที่มีการปรับปรุงให้เป็น version.To ใหม่เรียนรู้เพิ่มเติมดู เหตุการณ์ที่เก็บรวบรวมโดยอัตโนมัติ
screen_view เหตุการณ์ Analytics ที่ติดตามหน้าจอที่ดูภายในแอปของคุณ ต้องการเรียนรู้เพิ่มเติมโปรดดูที่ ติดตามหน้าจอ
session_start เหตุการณ์ Analytics ที่นับเซสชันผู้ใช้ในแอปของคุณ ต้องการเรียนรู้เพิ่มเติมโปรดดูที่ เหตุการณ์ที่เก็บรวบรวมโดยอัตโนมัติ
user_engagement เหตุการณ์ Analytics ที่ทริกเกอร์เป็นระยะในขณะที่แอปของคุณอยู่เบื้องหน้า ต้องการเรียนรู้เพิ่มเติมโปรดดูที่ เหตุการณ์ที่เก็บรวบรวมโดยอัตโนมัติ

การส่งออกข้อมูล BigQuery

คุณสามารถเข้าถึงการวิเคราะห์ข้อมูลทั้งหมดที่เกี่ยวข้องกับการทดสอบ A / B ของคุณใน BigQuery BigQuery ช่วยให้คุณวิเคราะห์ข้อมูลโดยใช้ BigQuery SQL ส่งออกไปยังผู้ให้บริการระบบคลาวด์รายอื่น หรือใช้ข้อมูลสำหรับโมเดล ML ที่กำหนดเองของคุณ ดู การเชื่อมโยงไปยัง BigQuery Firebase สำหรับข้อมูลเพิ่มเติม

เพื่อใช้ประโยชน์จากการส่งออกข้อมูล BigQuery อย่างเต็มที่ โปรเจ็กต์ Firebase ควรใช้แผนการกำหนดราคาแบบจ่ายตามการใช้งาน "Blaze" BigQuery เรียกเก็บเงินสำหรับการจัดเก็บข้อมูล การแทรกการสตรีม และการสืบค้นข้อมูล การโหลดและส่งออกข้อมูลไม่เสียค่าใช้จ่าย ดู BigQuery ราคา หรือ Sandbox BigQuery สำหรับข้อมูลเพิ่มเติม

ในการเริ่มต้น ตรวจสอบให้แน่ใจว่าโปรเจ็กต์ Firebase ลิงก์กับ BigQuery เลือกการตั้งค่า> การตั้งค่าโครงการจากแถบนำทางด้านซ้ายจากนั้นเลือก Integrations> BigQuery> เชื่อมโยง หน้านี้แสดงตัวเลือกในการส่งออกข้อมูลการวิเคราะห์ BiqQuery สำหรับแอปทั้งหมดในโปรเจ็กต์

ในการสืบค้นข้อมูลการวิเคราะห์สำหรับการทดสอบ:

  1. จาก การทดลองใช้งาน รายการเลือกการทดสอบที่ต้องการเพื่อเปิดหน้าผลการทดสอบ
  2. จาก เมนูบริบทในบานหน้าต่างภาพรวมการทดสอบเลือกข้อมูลการทดสอบแบบสอบถาม (ตัวเลือกนี้ไม่สามารถใช้ได้สำหรับโครงการบนชั้นฟรี)

    การดำเนินการนี้จะเปิดโปรแกรมแต่งข้อความค้นหาของคอนโซล BigQuery พร้อมตัวอย่างข้อความค้นหาที่สร้างขึ้นโดยอัตโนมัติของข้อมูลการทดสอบที่โหลดไว้ล่วงหน้าเพื่อให้คุณตรวจทาน ในข้อความค้นหานี้ การทดสอบของคุณได้รับการเข้ารหัสเป็นพร็อพเพอร์ตี้ผู้ใช้ที่มีชื่อการทดสอบอยู่ในคีย์และรูปแบบการทดสอบในค่านั้น

  3. ในนักแต่งเพลงแบบสอบถามเลือกแบบสอบถาม Run ผลลัพธ์จะแสดงในบานหน้าต่างด้านล่าง

โปรดทราบว่าเนื่องจากข้อมูล Firebase ใน BigQuery ได้รับการอัปเดตเพียงวันละครั้ง ข้อมูลที่มีอยู่ในหน้าการทดสอบอาจเป็นข้อมูลล่าสุดมากกว่าข้อมูลที่มีอยู่ในคอนโซล BigQuery