A / B परीक्षण के साथ संदेश प्रयोग बनाएँ

जब आप अपने उपयोगकर्ताओं तक पहुंच रहे हैं या एक नया विपणन अभियान शुरू कर रहे हैं, तो आप यह सुनिश्चित करना चाहते हैं कि आप इसे सही तरीके से प्राप्त करें। ए / बी परीक्षण आपको अपने उपयोगकर्ता आधार के चयनित भागों पर संदेश वेरिएंट का परीक्षण करके इष्टतम शब्दांकन और प्रस्तुति खोजने में मदद कर सकता है। चाहे आपका लक्ष्य किसी प्रस्ताव पर बेहतर प्रतिधारण या रूपांतरण है, ए / बी परीक्षण यह निर्धारित करने के लिए सांख्यिकीय विश्लेषण कर सकता है कि क्या कोई संदेश संस्करण आपके चयनित उद्देश्य के लिए नियंत्रण समूह से बेहतर प्रदर्शन कर रहा है।

नियंत्रण समूह के साथ ए / बी परीक्षण सुविधा वेरिएंट के लिए, निम्नलिखित करें:

1. अपना प्रयोग बनाएँ।
2. एक परीक्षण उपकरण पर अपने प्रयोग को मान्य करें।
3. अपने प्रयोग को प्रबंधित करें।

एक प्रयोग बनाएँ

अधिसूचना कंपोज़र का उपयोग करने वाला एक प्रयोग आपको एक अधिसूचना संदेश पर कई प्रकारों का मूल्यांकन करने देता है।

1. Firebase में साइन इन करें, डेटा साझाकरण सेटिंग अपडेट करें और सुनिश्चित करें कि डेटा साझाकरण सक्षम है। डेटा शेयरिंग के बिना, आपके प्रयोग में एनालिटिक्स डेटा तक पहुंच नहीं होगी।
2. Firebase कंसोल नेविगेशन बार पर, बढ़ो का विस्तार करें, फिर A / B परीक्षण पर क्लिक करें।
3. प्रयोग बनाएँ पर क्लिक करें और फिर उस सेवा का चयन करें जब आप जिस सेवा के साथ प्रयोग करना चाहते हैं उसके लिए संकेत दिया गया है।
4. अपने प्रयोग के लिए एक नाम और वैकल्पिक विवरण दर्ज करें, और अगला क्लिक करें।

5. लक्ष्यीकरण फ़ील्ड भरें, पहले उस ऐप को चुनें जो आपके प्रयोग का उपयोग करता है। आप निम्न विकल्पों में से एक या अधिक को चुनकर अपने प्रयोग में भाग लेने के लिए अपने उपयोगकर्ताओं के एक सबसेट को लक्षित कर सकते हैं:

   • संस्करण: आपके एप्लिकेशन का एक या अधिक संस्करण
   • उपयोगकर्ता ऑडियंस: Analytics ऑडियंस उन उपयोगकर्ताओं को लक्षित करते हैं जिन्हें प्रयोग में शामिल किया जा सकता है
   • उपयोगकर्ता की संपत्ति: उन उपयोगकर्ताओं को चुनने के लिए एक या अधिक Analytics उपयोगकर्ता गुण जो प्रयोग में शामिल हो सकते हैं
   • भविष्यवाणी: विशेष व्यवहार में संलग्न होने के लिए मशीन सीखने से उपयोगकर्ताओं के समूह का अनुमान लगाया गया है
   • देश / क्षेत्र: प्रयोग में शामिल किए जाने वाले उपयोगकर्ताओं को चुनने के लिए एक या अधिक देश या क्षेत्र
   • डिवाइस भाषा: एक या अधिक भाषाओं और स्थानों का उपयोग उन उपयोगकर्ताओं को करने के लिए किया जाता है जिन्हें प्रयोग में शामिल किया जा सकता है

6. लक्ष्य उपयोगकर्ताओं का प्रतिशत निर्धारित करें: मापदंड लक्ष्य उपयोगकर्ताओं के तहत सेट मिलान अपने उपयोगकर्ता आधार का प्रतिशत दर्ज करें कि आप समान रूप से नियंत्रण समूह और एक या अधिक अपने प्रयोग में वेरिएंट के बीच विभाजन करना चाहते हैं। यह 0.01% और 100% के बीच कोई भी प्रतिशत हो सकता है। प्रत्येक प्रयोग के लिए उपयोगकर्ताओं को प्रतिशत यादृच्छिक रूप से पुन: असाइन किया जाता है, जिसमें डुप्लिकेट किए गए प्रयोग भी शामिल हैं।

7. वेरिएंट अनुभाग में, संदेश दर्ज करें पाठ क्षेत्र में नियंत्रण समूह को भेजने के लिए एक संदेश लिखें। नियंत्रण समूह को कोई संदेश भेजने के लिए, इस फ़ील्ड को खाली छोड़ दें।

8. (वैकल्पिक) अपने प्रयोग में एक से अधिक प्रकार जोड़ने के लिए, वेरिएंट जोड़ें पर क्लिक करें। डिफ़ॉल्ट रूप से, प्रयोगों में एक नियंत्रण समूह और एक संस्करण होता है।

9. (वैकल्पिक) वेरिएंट ए , वेरिएंट बी , आदि नामों को बदलने के लिए अपने प्रयोग में प्रत्येक संस्करण के लिए एक नाम दर्ज करें।

10. ड्रॉपडाउन सूची से वांछित अतिरिक्त मैट्रिक्स के साथ प्रयोग वेरिएंट का मूल्यांकन करते समय अपने प्रयोग के लिए एक लक्ष्य मीट्रिक निर्धारित करें। इन मैट्रिक्स में अंतर्निहित उद्देश्य (सगाई, खरीद, राजस्व, प्रतिधारण, आदि), विश्लेषिकी रूपांतरण घटनाएं और अन्य विश्लेषिकी घटनाएं शामिल हैं।

11. अपने संदेश के लिए विकल्प चुनें:

    • डिलीवरी की तारीख: या तो सेविंग पर तुरंत अपना प्रयोग शुरू करने के लिए Send Now चुनें, या भविष्य में अपने प्रयोग को लॉन्च करने के लिए एक समय निर्दिष्ट करने के लिए अनुसूचित ।
    • उन्नत विकल्प: अपने प्रयोग में शामिल सभी सूचनाओं के लिए उन्नत विकल्पों का चयन करने के लिए, उन्नत विकल्पों का विस्तार करें , और फिर किसी भी सूचीबद्ध संदेश विकल्प को बदलें।

12. अपने प्रयोग को सहेजने के लिए समीक्षा पर क्लिक करें ।

आपको प्रति प्रोजेक्ट 300 प्रयोगों तक की अनुमति है, जिसमें ड्राफ्ट या पूर्ण के रूप में बाकी के साथ 24 चल रहे प्रयोग शामिल हो सकते हैं।

एक परीक्षण उपकरण पर अपने प्रयोग को मान्य करें

प्रत्येक फायरबेस इंस्टॉलेशन के लिए आप इससे जुड़े एफसीएम पंजीकरण टोकन को पुनः प्राप्त कर सकते हैं। आप इस टोकन का उपयोग अपने ऐप इंस्टॉल किए गए परीक्षण उपकरण पर विशिष्ट प्रयोग वेरिएंट का परीक्षण करने के लिए कर सकते हैं। परीक्षण उपकरण पर अपने प्रयोग को मान्य करने के लिए, निम्नलिखित कार्य करें:

1. एफसीएम पंजीकरण टोकन निम्नानुसार प्राप्त करें:

   तीव्र

   Messaging.messaging().token { token, error in
     if let error = error {
       print("Error fetching FCM registration token: \(error)")
     } else if let token = token {
       print("FCM registration token: \(token)")
       self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
     }
   }
   

   उद्देश्य सी

   [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
     if (error != nil) {
       NSLog(@"Error getting FCM registration token: %@", error);
     } else {
       NSLog(@"FCM registration token: %@", token);
       self.fcmRegTokenMessage.text = token;
     }
   }];
   

   जावा

   FirebaseMessaging.getInstance().getToken()
       .addOnCompleteListener(new OnCompleteListener<String>() {
           @Override
           public void onComplete(@NonNull Task<String> task) {
             if (!task.isSuccessful()) {
               Log.w(TAG, "Fetching FCM registration token failed", task.getException());
               return;
             }
   
             // Get new FCM registration token
             String token = task.getResult();
   
             // Log and toast
             String msg = getString(R.string.msg_token_fmt, token);
             Log.d(TAG, msg);
             Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
           }
       });

   Kotlin + KTX

   FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
       if (!task.isSuccessful) {
           Log.w(TAG, "Fetching FCM registration token failed", task.exception)
           return@OnCompleteListener
       }
   
       // Get new FCM registration token
       val token = task.result
   
       // Log and toast
       val msg = getString(R.string.msg_token_fmt, token)
       Log.d(TAG, msg)
       Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
   })

   सी ++

   firebase::InitResult init_result;
   auto* instance_id_object = firebase::instance_id::InstanceId::GetInstanceId(
       firebase::App::GetInstance(), &init_result);
   instance_id_object->GetToken().OnCompletion(
       [](const firebase::Future<std::string>& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::instance_id::kErrorNone) {
           printf("Instance ID Token %s\n", future.result()->c_str());
         }
       });
   

   एकता

   Firebase.InstanceId.FirebaseInstanceId.DefaultInstance.GetTokenAsync().ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("Instance ID Token {0}", task.Result));
       }
     });
   

2. Firebase कंसोल नेविगेशन बार पर, A / B परीक्षण पर क्लिक करें।
3. ड्राफ़्ट पर क्लिक करें, अपने प्रयोग पर होवर करें, संदर्भ मेनू ( more_vert क्लिक करें ) पर क्लिक करें और फिर परीक्षण उपकरणों को प्रबंधित करें पर क्लिक करें
4. एक परीक्षण उपकरण के लिए FCM टोकन दर्ज करें और उस परीक्षण उपकरण को भेजने के लिए प्रयोग संस्करण चुनें।
5. एप्लिकेशन चलाएं और पुष्टि करें कि चयनित संस्करण परीक्षण डिवाइस पर प्राप्त हो रहा है।

अपने प्रयोग को प्रबंधित करें

चाहे आप रिमोट कॉन्फिगरेशन, नोटिफिकेशन कंपोज़र या फायरबेस इन-ऐप मैसेजिंग के साथ एक प्रयोग करें, फिर आप अपने प्रयोग को मान्य और शुरू कर सकते हैं, इसे चलाते समय अपने प्रयोग की निगरानी कर सकते हैं और अपने चल रहे प्रयोग में शामिल उपयोगकर्ताओं की संख्या बढ़ा सकते हैं।

जब आपका प्रयोग हो जाता है, तो आप विजेता संस्करण द्वारा उपयोग की जाने वाली सेटिंग्स पर ध्यान दे सकते हैं, और फिर उन सेटिंग्स को सभी उपयोगकर्ताओं के लिए रोल आउट कर सकते हैं। या, आप एक और प्रयोग चला सकते हैं।

एक प्रयोग शुरू करें

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो का विस्तार करें, फिर A / B परीक्षण पर क्लिक करें।
2. ड्राफ़्ट पर क्लिक करें और फिर अपने प्रयोग के शीर्षक पर क्लिक करें।
3. यह सत्यापित करने के लिए कि आपके ऐप में ऐसे उपयोगकर्ता हैं जो आपके प्रयोग में शामिल होंगे, लक्ष्यीकरण और वितरण अनुभाग में 0% से अधिक संख्या की जाँच करें (उदाहरण के लिए, मापदंड से मेल खाने वाले उपयोगकर्ताओं का 1% )।
4. अपना प्रयोग बदलने के लिए, संपादित करें पर क्लिक करें ।
5. अपना प्रयोग शुरू करने के लिए, प्रयोग शुरू करें पर क्लिक करें । आप एक बार में प्रति प्रोजेक्ट 24 प्रयोग कर सकते हैं।

एक प्रयोग की निगरानी करें

एक बार एक प्रयोग कुछ समय के लिए चल रहा है, तो आप इसकी प्रगति पर जांच कर सकते हैं और देख सकते हैं कि आपके परिणाम उन उपयोगकर्ताओं के लिए क्या दिखते हैं जिन्होंने अभी तक आपके प्रयोग में भाग लिया है।

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।

2. रनिंग पर क्लिक करें, और फिर अपने प्रयोग के शीर्षक पर क्लिक करें। इस पृष्ठ पर, आप अपने चल रहे प्रयोग के बारे में विभिन्न आँकड़े देख सकते हैं, जिसमें आपका लक्ष्य मीट्रिक और अन्य मीट्रिक शामिल हैं। प्रत्येक मीट्रिक के लिए, निम्नलिखित जानकारी उपलब्ध है:

   • सुधार : बेसलाइन (या नियंत्रण समूह) की तुलना में किसी दिए गए संस्करण के लिए मीट्रिक के सुधार का एक उपाय। बेसलाइन के लिए वैरिएंट के लिए मूल्य सीमा की तुलना करके मूल्य की गणना।
   • बेसलाइन को हरा सकने की संभावना: अनुमानित संभावना जो किसी दिए गए संस्करण को चयनित मीट्रिक के लिए आधार रेखा को हरा देती है ।
   • सबसे अच्छा संस्करण होने की संभावना: अनुमानित संभावना है कि एक दिया गया संस्करण चयनित मीट्रिक के लिए अन्य वेरिएंट को हराता है।
   • मूल्य प्रति उपयोगकर्ता : प्रयोग के परिणामों के आधार पर, यह भविष्यवाणी की गई सीमा है कि मीट्रिक मूल्य समय के साथ गिर जाएगा।
   • कुल मूल्य : नियंत्रण समूह या संस्करण के लिए मनाया संचयी मूल्य। मान का उपयोग यह मापने के लिए किया जाता है कि प्रत्येक प्रयोग संस्करण कितना अच्छा प्रदर्शन करता है, और इसका उपयोग सुधार , मूल्य सीमा , आधारभूत बीट करने की संभावना और सर्वश्रेष्ठ संस्करण होने की संभावना की गणना करने के लिए किया जाता है। मापे जाने वाले मीट्रिक के आधार पर, इस कॉलम को "प्रति उपयोगकर्ता अवधि," "अवधारण दर," या "रूपांतरण दर" लेबल किया जा सकता है।

3. अपने प्रयोग में शामिल उपयोगकर्ताओं की संख्या बढ़ाने के लिए, वितरण बढ़ाएँ पर क्लिक करें और फिर अपने प्रयोग में अधिक योग्य उपयोगकर्ताओं को जोड़ने के लिए एक बढ़े हुए प्रतिशत का चयन करें।

4. आपके प्रयोग के कुछ समय तक चलने के बाद (FCM और इन-ऐप मैसेजिंग के लिए कम से कम 7 दिन या रिमोट कॉन्फिगरेशन के लिए 14 दिन), इस पृष्ठ पर डेटा इंगित करता है कि कौन सा संस्करण, यदि कोई है, तो "नेता" है कुछ माप एक बार चार्ट के साथ होते हैं जो डेटा को एक दृश्य प्रारूप में प्रस्तुत करते हैं।

सभी उपयोगकर्ताओं के लिए एक प्रयोग करें

एक प्रयोग के बाद लंबे समय से चला है कि आपके पास "लीडर" या जीतने वाला संस्करण है, अपने लक्ष्य मीट्रिक के लिए, आप 100% उपयोगकर्ताओं के लिए प्रयोग कर सकते हैं। यह आपको आगे बढ़ने वाले सभी उपयोगकर्ताओं को प्रकाशित करने के लिए एक संस्करण का चयन करने की अनुमति देता है। यहां तक ​​कि अगर आपके प्रयोग ने एक स्पष्ट विजेता नहीं बनाया है, तो भी आप अपने सभी उपयोगकर्ताओं के लिए एक वैरिएंट रोल आउट करना चुन सकते हैं।

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।
2. पूर्ण या रनिंग पर क्लिक करें, एक प्रयोग पर क्लिक करें जिसे आप सभी उपयोगकर्ताओं को रोल आउट करना चाहते हैं, संदर्भ मेनू पर क्लिक करें ( more_vert ), और फिर रोल आउट संस्करण पर क्लिक करें।

3. निम्नलिखित में से एक करके अपने प्रयोग को सभी उपयोगकर्ताओं के लिए करें:

   • प्रयोग के लिए जो सूचनाएं संगीतकार का उपयोग करता है, शेष लक्षित उपयोगकर्ताओं को संदेश भेजने के लिए रोल आउट संदेश संवाद का उपयोग करें जो प्रयोग का हिस्सा नहीं थे।
   • दूरस्थ कॉन्फ़िगरेशन प्रयोग के लिए, यह निर्धारित करने के लिए कि कौन सा दूरस्थ कॉन्फ़िगरेशन पैरामीटर मानों को अद्यतन करने के लिए एक संस्करण का चयन करें। प्रयोग करते समय परिभाषित लक्ष्यीकरण मानदंड आपके टेम्पलेट में एक नई शर्त के रूप में जोड़े जाएंगे, यह सुनिश्चित करने के लिए कि केवल प्रयोग द्वारा लक्षित उपयोगकर्ताओं को रोलआउट प्रभावित करता है। परिवर्तनों की समीक्षा करने के लिए दूरस्थ कॉन्फ़िगरेशन में समीक्षा पर क्लिक करने के बाद, रोलआउट को पूरा करने के लिए परिवर्तनों को प्रकाशित करें पर क्लिक करें ।
   • इन-ऐप मैसेजिंग प्रयोग के लिए, यह निर्धारित करने के लिए संवाद का उपयोग करें कि किस संस्करण को स्टैंडअलोन इन-ऐप मैसेजिंग अभियान के रूप में रोल आउट करने की आवश्यकता है। एक बार चुने जाने के बाद, आपको प्रकाशन से पहले किसी भी परिवर्तन (यदि आवश्यक हो) बनाने के लिए FIAM स्क्रीन पर रीडायरेक्ट किया जाएगा।

एक प्रयोग का विस्तार करें

यदि आपको पता चलता है कि नेता घोषित करने के लिए ए / बी टेस्टिंग के लिए पर्याप्त उपयोगकर्ता में कोई प्रयोग नहीं किया जा रहा है, तो आप ऐप के उपयोगकर्ता आधार के एक बड़े प्रतिशत तक पहुंचने के लिए अपने प्रयोग का वितरण बढ़ा सकते हैं।

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।
2. रनिंग पर क्लिक करें, अपने प्रयोग पर होवर करें, संदर्भ मेनू ( more_vert ) पर क्लिक करें और फिर वितरण बढ़ाएँ पर क्लिक करें।
3. कंसोल उन उपयोगकर्ताओं के प्रतिशत को बढ़ाने के लिए एक विकल्प के साथ एक संवाद प्रदर्शित करता है जो वर्तमान में चल रहे प्रयोग में हैं। वर्तमान प्रतिशत से अधिक संख्या इनपुट करें और भेजें पर क्लिक करें। प्रयोग को आपके द्वारा निर्दिष्ट उपयोगकर्ताओं के प्रतिशत तक धकेल दिया जाएगा।

किसी प्रयोग को डुप्लिकेट या रोकना

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।
2. पूर्ण या रनिंग पर क्लिक करें, अपने प्रयोग पर होवर करें, संदर्भ मेनू पर क्लिक करें ( more_vert ), और फिर डुप्लिकेट या रोकें पर क्लिक करें।

उपयोगकर्ता लक्ष्यीकरण

आप निम्नलिखित उपयोगकर्ता-लक्ष्यीकरण मानदंडों का उपयोग करके अपने प्रयोग में शामिल करने के लिए उपयोगकर्ताओं को लक्षित कर सकते हैं।

ए / बी परीक्षण मैट्रिक्स

जब आप अपना प्रयोग बनाते हैं, तो आप एक ऐसे मीट्रिक का चयन करते हैं, जो प्रयोग वेरिएंट की तुलना करने के लिए उपयोग किया जाता है, और आप प्रत्येक प्रयोग संस्करण को बेहतर ढंग से समझने और किसी भी महत्वपूर्ण दुष्परिणाम (जैसे ऐप क्रैश) का पता लगाने में मदद करने के लिए अन्य मीट्रिक भी चुन सकते हैं। निम्न तालिकाएँ लक्ष्य मैट्रिक्स और अन्य मैट्रिक्स की गणना कैसे की जाती हैं, इस पर विवरण प्रदान करती हैं।

लक्ष्य मेट्रिक्स

अन्य मेट्रिक्स

BigQuery डेटा निर्यात

आप BigQuery में अपने ए / बी परीक्षणों से संबंधित सभी विश्लेषिकी डेटा तक पहुंच सकते हैं। BigQuery आपको BigQuery SQL का उपयोग करके डेटा का विश्लेषण करने की अनुमति देता है, इसे किसी अन्य क्लाउड प्रदाता को निर्यात करता है, या अपने कस्टम एमएल मॉडल के लिए डेटा का उपयोग करता है। अधिक जानकारी के लिए Firebase का लिंक BigQuery देखें।

BigQuery डेटा निर्यात का पूरा लाभ उठाने के लिए, फायरबेस परियोजनाओं को "ब्लेज़" पे-एज़-यू-गो प्राइसिंग प्लान अपनाना चाहिए। डेटा संग्रहीत करने, आवेषण और डेटा क्वेरी करने के लिए BigQuery शुल्क लेता है। डेटा लोड करना और निर्यात करना नि: शुल्क है। अधिक जानकारी के लिए BigQuery मूल्य निर्धारण , या BigQuery सैंडबॉक्स देखें।

आरंभ करने के लिए, सुनिश्चित करें कि आपका Firebase प्रोजेक्ट BigQuery से जुड़ा हुआ है। बाएं नेविगेशन बार से सेटिंग> प्रोजेक्ट सेटिंग्स चुनें, फिर इंटीग्रेशन> बिगविक> लिंक चुनें । यह पृष्ठ प्रोजेक्ट में सभी एप्लिकेशन के लिए BiqQuery एनालिटिक्स डेटा निर्यात करने के लिए विकल्प प्रदर्शित करता है।

एक प्रयोग के लिए एनालिटिक्स डेटा को क्वेरी करने के लिए:

1. अपनी सक्रिय प्रयोगों की सूची से, प्रयोग परिणाम पृष्ठ को खोलने के लिए वांछित प्रयोग का चयन करें।

2. प्रयोग अवलोकन फलक में more_vert संदर्भ मेनू से, क्वेरी प्रयोग डेटा चुनें (यह विकल्प निशुल्क स्तरीय पर परियोजनाओं के लिए उपलब्ध नहीं है)।

   यह BigQuery कंसोल के क्वेरी कंपोज़र को आपकी समीक्षा के लिए पहले से लोड किए गए प्रयोग डेटा के ऑटोजेनरेटेड उदाहरण क्वेरी के साथ खोलता है। इस क्वेरी में, आपके प्रयोग को कुंजी में प्रयोग नाम और मूल्य में प्रयोग संस्करण के साथ एक उपयोगकर्ता संपत्ति के रूप में एन्कोड किया गया है।

3. क्वेरी कंपोज़र में, रन क्वेरी का चयन करें । परिणाम निचले फलक में प्रदर्शित होते हैं।

ध्यान दें कि, क्योंकि BigQuery में Firebase डेटा केवल एक बार दैनिक रूप से अपडेट किया जाता है, प्रयोग पृष्ठ में उपलब्ध डेटा BigQuery कंसोल में उपलब्ध डेटा की तुलना में अधिक अद्यतित हो सकता है।