A / B परीक्षण के साथ संदेश प्रयोग बनाएँ

जब आप अपने उपयोगकर्ताओं तक पहुँच रहे हैं या एक नया विपणन अभियान शुरू कर रहे हैं, तो आप यह सुनिश्चित करना चाहते हैं कि आप इसे सही तरीके से प्राप्त करें। ए / बी परीक्षण आपको अपने उपयोगकर्ता आधार के चयनित भागों पर संदेश वेरिएंट का परीक्षण करके इष्टतम शब्दांकन और प्रस्तुति खोजने में मदद कर सकता है। चाहे आपका लक्ष्य किसी प्रस्ताव पर बेहतर प्रतिधारण या रूपांतरण हो, ए / बी परीक्षण यह निर्धारित करने के लिए सांख्यिकीय विश्लेषण कर सकता है कि क्या संदेश संस्करण आपके चयनित उद्देश्य के लिए नियंत्रण समूह से बेहतर प्रदर्शन कर रहा है।

एक नियंत्रण समूह के साथ ए / बी परीक्षण सुविधा वेरिएंट के लिए, निम्नलिखित करें:

1. अपना प्रयोग बनाएँ।
2. एक परीक्षण उपकरण पर अपने प्रयोग को मान्य करें।
3. अपने प्रयोग को प्रबंधित करें।

एक प्रयोग बनाएँ

अधिसूचना कंपोज़र का उपयोग करने वाला एक प्रयोग आपको एक अधिसूचना संदेश पर कई प्रकारों का मूल्यांकन करने देता है।

1. Firebase में साइन इन करें, डेटा साझाकरण सेटिंग अपडेट करें और सुनिश्चित करें कि डेटा साझाकरण सक्षम है। डेटा शेयरिंग के बिना, आपके प्रयोग में एनालिटिक्स डेटा तक पहुंच नहीं होगी।
2. पर Firebase सांत्वना नेविगेशन पट्टी, विस्तार के लिए आगे बढ़ें, तो A / B परीक्षण पर क्लिक करें।
3. प्रयोग बनाएँ पर क्लिक करें और फिर उस सेवा का चयन करें जब आप जिस सेवा के साथ प्रयोग करना चाहते हैं उसके लिए संकेत दिया गया है।
4. अपने प्रयोग के लिए एक नाम और वैकल्पिक विवरण दर्ज करें, और अगला क्लिक करें।

5. लक्ष्यीकरण फ़ील्ड भरें, पहले उस ऐप को चुनें जो आपके प्रयोग का उपयोग करता है। आप निम्न विकल्पों में से एक या अधिक को चुनकर अपने प्रयोग में भाग लेने के लिए अपने उपयोगकर्ताओं के एक सबसेट को लक्षित कर सकते हैं:

   • संस्करण: आपके एप्लिकेशन का एक या अधिक संस्करण
   • उपयोगकर्ता ऑडियंस: Analytics ऑडियंस उन उपयोगकर्ताओं को लक्षित करते हैं जिन्हें प्रयोग में शामिल किया जा सकता है
   • उपयोगकर्ता की संपत्ति: उन उपयोगकर्ताओं को चुनने के लिए एक या अधिक Analytics उपयोगकर्ता गुण जो प्रयोग में शामिल किए जा सकते हैं
   • भविष्यवाणी: विशेष व्यवहार में संलग्न होने के लिए मशीन सीखने से उपयोगकर्ताओं के समूह की भविष्यवाणी की गई
   • देश / क्षेत्र: प्रयोग में शामिल किए जा सकने वाले उपयोगकर्ताओं को चुनने के लिए एक या अधिक देश या क्षेत्र
   • डिवाइस भाषा: एक या अधिक भाषाओं और स्थानों का उपयोग उन उपयोगकर्ताओं को करने के लिए किया जाता है जिन्हें प्रयोग में शामिल किया जा सकता है

6. लक्ष्य उपयोगकर्ताओं का प्रतिशत निर्धारित करें: मापदंड लक्ष्य उपयोगकर्ताओं के तहत सेट मिलान अपने उपयोगकर्ता आधार का प्रतिशत दर्ज करें कि आप समान रूप से नियंत्रण समूह और एक या अधिक अपने प्रयोग में वेरिएंट के बीच विभाजन करना चाहते हैं। यह 0.01% और 100% के बीच कोई भी प्रतिशत हो सकता है। प्रत्येक प्रयोग के लिए उपयोगकर्ताओं को प्रतिशत यादृच्छिक रूप से पुन: असाइन किया जाता है, जिसमें डुप्लिकेट किए गए प्रयोग भी शामिल हैं।

7. वेरिएंट अनुभाग में, संदेश समूह में संदेश समूह में नियंत्रण समूह को भेजने के लिए एक संदेश लिखें। नियंत्रण समूह को कोई संदेश भेजने के लिए, इस फ़ील्ड को खाली छोड़ दें।

8. (वैकल्पिक) अपने प्रयोग में एक से अधिक प्रकार जोड़ने के लिए, वेरिएंट जोड़ें पर क्लिक करें। डिफ़ॉल्ट रूप से, प्रयोगों में एक नियंत्रण समूह और एक संस्करण होता है।

9. (वैकल्पिक) वेरिएंट ए , वेरिएंट बी , आदि नामों को बदलने के लिए अपने प्रयोग में प्रत्येक संस्करण के लिए एक नाम दर्ज करें।

10. ड्रॉपडाउन सूची से वांछित अतिरिक्त मैट्रिक्स के साथ प्रयोग वेरिएंट का मूल्यांकन करते समय अपने प्रयोग के लिए एक लक्ष्य मीट्रिक निर्धारित करें। इन मेट्रिक्स में अंतर्निहित उद्देश्य (सगाई, खरीद, राजस्व, प्रतिधारण, आदि), विश्लेषिकी रूपांतरण घटनाएं और अन्य विश्लेषिकी घटनाएं शामिल हैं।

11. अपने संदेश के लिए विकल्प चुनें:

    • डिलीवरी की तारीख: या तो सेविंग पर तुरंत अपना प्रयोग शुरू करने के लिए Send Now चुनें, या भविष्य में अपने प्रयोग को लॉन्च करने का समय निर्दिष्ट करने के लिए अनुसूचित ।
    • उन्नत विकल्प: अपने प्रयोग में शामिल सभी सूचनाओं के लिए उन्नत विकल्पों का चयन करने के लिए, उन्नत विकल्पों का विस्तार करें , और फिर किसी भी सूचीबद्ध संदेश विकल्प को बदलें।

12. अपने प्रयोग को सहेजने के लिए समीक्षा पर क्लिक करें ।

आपको प्रति प्रोजेक्ट 100 प्रयोगों तक की अनुमति है, जिसमें ड्राफ्ट या पूर्ण के रूप में बाकी के साथ 24 तक चल सकते हैं।

एक परीक्षण उपकरण पर अपने प्रयोग को मान्य करें

प्रत्येक फायरबेस ऐप इंस्टालेशन में एक इंस्टेंस आईडी टोकन (या पंजीकरण टोकन) होता है। आप इस टोकन का उपयोग अपने ऐप इंस्टॉल किए गए टेस्ट डिवाइस पर विशिष्ट प्रयोग वेरिएंट का परीक्षण करने के लिए कर सकते हैं। परीक्षण उपकरण पर अपने प्रयोग को मान्य करने के लिए, निम्नलिखित कार्य करें:

1. उदाहरण आईडी टोकन प्राप्त करें इस प्रकार है:

   तीव्र

   InstanceID.instanceID().instanceID { (result, error) in
     if let error = error {
       print("Error fetching remote instance ID: \(error)")
     } else if let result = result {
       print("Remote instance ID token: \(result.token)")
       self.instanceIDTokenMessage.text  = "Remote InstanceID token: \(result.token)"
     }
   }
   

   उद्देश्य सी

   [[FIRInstanceID instanceID] instanceIDWithHandler:^(FIRInstanceIDResult * _Nullable result,
                                                       NSError * _Nullable error) {
     if (error != nil) {
       NSLog(@"Error fetching remote instance ID: %@", error);
     } else {
       NSLog(@"Remote instance ID token: %@", result.token);
       NSString* message =
         [NSString stringWithFormat:@"Remote InstanceID token: %@", result.token];
       self.instanceIDTokenMessage.text = message;
     }
   }];
   

   जावा

   FirebaseInstanceId.getInstance().getInstanceId()
           .addOnCompleteListener(new OnCompleteListener<InstanceIdResult>() {
               @Override
               public void onComplete(@NonNull Task<InstanceIdResult> task) {
                   Log.d("IID_TOKEN", task.getResult().getToken());
               }
           });
    MainActivity.java 

   Kotlin + KTX

   FirebaseInstanceId.getInstance().instanceId
           .addOnSuccessListener { result ->
               Log.d("IID_TOKEN", result.token)
           }
    MainActivity.kt 

   सी ++

   firebase::InitResult init_result;
   auto* instance_id_object = firebase::instance_id::InstanceId::GetInstanceId(
       firebase::App::GetInstance(), &init_result);
   instance_id_object->GetToken().OnCompletion(
       [](const firebase::Future<std::string>& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::instance_id::kErrorNone) {
           printf("Instance ID Token %s\n", future.result()->c_str());
         }
       });
   

   एकता

   Firebase.InstanceId.FirebaseInstanceId.DefaultInstance.GetTokenAsync().ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("Instance ID Token {0}", task.Result));
       }
     });
   

2. Firebase कंसोल नेविगेशन बार पर, A / B परीक्षण पर क्लिक करें।
3. ड्राफ़्ट पर क्लिक करें, फिर अपने प्रयोग के शीर्षक पर क्लिक करें।
4. प्रयोग अवलोकन शीर्षक के अंतर्गत, विवरण पर क्लिक करें।
5. परीक्षण उपकरणों को प्रबंधित करें पर क्लिक करें , और फिर एक परीक्षण उपकरण के लिए इंस्टेंस आईडी दर्ज करें और उस परीक्षण उपकरण को भेजने के लिए प्रयोग संस्करण चुनें।
6. एप्लिकेशन चलाएं और पुष्टि करें कि चयनित संस्करण परीक्षण डिवाइस पर प्राप्त हो रहा है।

ID ID टोकन के बारे में अधिक जानने के लिए, FIRInstanceID (iOS) या FirebaseInstanceId (Android) देखें।

अपने प्रयोग को प्रबंधित करें

चाहे आप रिमोट कॉन्फिगरेशन, नोटिफिकेशन कंपोज़र या फायरबेस इन-ऐप मैसेजिंग के साथ एक प्रयोग करें, फिर आप अपने प्रयोग को मान्य और शुरू कर सकते हैं, इसे चलाते समय अपने प्रयोग की निगरानी कर सकते हैं, और अपने चल रहे प्रयोग में शामिल उपयोगकर्ताओं की संख्या बढ़ा सकते हैं।

जब आपका प्रयोग हो जाता है, तो आप विजेता संस्करण द्वारा उपयोग की जाने वाली सेटिंग्स पर ध्यान दे सकते हैं, और फिर उन सेटिंग्स को सभी उपयोगकर्ताओं के लिए रोल आउट कर सकते हैं। या, आप एक और प्रयोग चला सकते हैं।

एक प्रयोग शुरू करें

1. पर Firebase सांत्वना नेविगेशन पट्टी, विस्तार के लिए आगे बढ़ें, तो A / B परीक्षण पर क्लिक करें।
2. ड्राफ़्ट पर क्लिक करें और फिर अपने प्रयोग के शीर्षक पर क्लिक करें।
3. यह सत्यापित करने के लिए कि आपके ऐप में ऐसे उपयोगकर्ता हैं जो आपके प्रयोग में शामिल होंगे, लक्ष्यीकरण और वितरण अनुभाग में 0% से अधिक संख्या की जाँच करें (उदाहरण के लिए, मापदंड से मेल खाने वाले उपयोगकर्ताओं का 1% )।
4. अपना प्रयोग बदलने के लिए, संपादित करें पर क्लिक करें ।
5. अपना प्रयोग शुरू करने के लिए, प्रयोग शुरू करें पर क्लिक करें । आप एक बार में प्रति प्रोजेक्ट 24 प्रयोग कर सकते हैं।

एक प्रयोग की निगरानी करें

एक बार एक प्रयोग कुछ समय के लिए चल रहा है, तो आप इसकी प्रगति की जांच कर सकते हैं और देख सकते हैं कि आपके परिणाम उन उपयोगकर्ताओं के लिए क्या दिखते हैं जिन्होंने अभी तक आपके प्रयोग में भाग लिया है।

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।

2. रनिंग पर क्लिक करें और फिर अपने प्रयोग के शीर्षक पर क्लिक करें। इस पृष्ठ पर, आप अपने चल रहे प्रयोग के बारे में विभिन्न आँकड़े देख सकते हैं, जिसमें आपका लक्ष्य मीट्रिक और अन्य मीट्रिक शामिल हैं। प्रत्येक मीट्रिक के लिए, निम्नलिखित जानकारी उपलब्ध है:

   • सुधार : बेसलाइन (या नियंत्रण समूह) की तुलना में किसी दिए गए संस्करण के लिए मीट्रिक के सुधार का एक उपाय। बेसलाइन के लिए वैरिएंट के लिए मूल्य सीमा की तुलना करके मूल्य की गणना।
   • बेसलाइन को हरा सकने की संभावना: अनुमानित संभावना जो किसी दिए गए संस्करण को चयनित मीट्रिक के लिए आधार रेखा को हरा देती है ।
   • सबसे अच्छा संस्करण होने की संभावना: अनुमानित संभावना है कि एक दिया गया संस्करण चयनित मीट्रिक के लिए अन्य वेरिएंट को हराता है।
   • मूल्य प्रति उपयोगकर्ता : प्रयोग के परिणामों के आधार पर, यह भविष्यवाणी की गई सीमा है कि मीट्रिक मूल्य समय के साथ गिर जाएगा।
   • कुल मूल्य : नियंत्रण समूह या संस्करण के लिए मनाया संचयी मूल्य। मूल्य का उपयोग यह मापने के लिए किया जाता है कि प्रत्येक प्रयोग संस्करण कितनी अच्छी तरह से करता है, और इसका उपयोग सुधार , मूल्य सीमा , आधारभूत बीट करने की संभावना और सर्वश्रेष्ठ संस्करण होने की संभावना की गणना करने के लिए किया जाता है। मापे जाने वाले मीट्रिक के आधार पर, इस कॉलम को "प्रति उपयोगकर्ता अवधि," "अवधारण दर," या "रूपांतरण दर" लेबल किया जा सकता है।

3. अपने प्रयोग में शामिल उपयोगकर्ताओं की संख्या बढ़ाने के लिए, वितरण बढ़ाएँ पर क्लिक करें और फिर अपने प्रयोग में अधिक योग्य उपयोगकर्ताओं को जोड़ने के लिए एक बढ़े हुए प्रतिशत का चयन करें।

4. आपके प्रयोग के थोड़ी देर (कम से कम 24 घंटे) चलने के बाद, इस पृष्ठ पर डेटा इंगित करता है कि कौन सा संस्करण, यदि कोई हो, "नेता" है। कुछ माप एक बार चार्ट के साथ होते हैं जो डेटा को एक दृश्य प्रारूप में प्रस्तुत करते हैं।

सभी उपयोगकर्ताओं के लिए एक प्रयोग करें

एक प्रयोग के बाद लंबे समय तक चला है कि आपके पास "लीडर" या जीतने वाला संस्करण है, अपने लक्ष्य मीट्रिक के लिए, आप 100% उपयोगकर्ताओं के लिए प्रयोग कर सकते हैं। यह आपको आगे बढ़ने वाले सभी उपयोगकर्ताओं को प्रकाशित करने के लिए एक संस्करण का चयन करने की अनुमति देता है। यहां तक ​​कि अगर आपके प्रयोग ने एक स्पष्ट विजेता नहीं बनाया है, तो भी आप अपने सभी उपयोगकर्ताओं के लिए एक वैरिएंट रोल आउट करना चुन सकते हैं।

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।
2. पूर्ण या रनिंग पर क्लिक करें, एक प्रयोग पर क्लिक करें जिसे आप सभी उपयोगकर्ताओं को रोल आउट करना चाहते हैं, संदर्भ मेनू पर क्लिक करें ( more_vert ), और फिर रोल आउट संस्करण पर क्लिक करें।

3. निम्नलिखित में से एक करके अपने प्रयोग को सभी उपयोगकर्ताओं के लिए करें:

   • प्रयोग के लिए जो सूचनाएं संगीतकार का उपयोग करता है, शेष लक्षित उपयोगकर्ताओं को संदेश भेजने के लिए रोल आउट संदेश संवाद का उपयोग करें जो प्रयोग का हिस्सा नहीं थे।
   • दूरस्थ कॉन्फ़िगरेशन प्रयोग के लिए, यह निर्धारित करने के लिए संवाद का उपयोग करें कि सभी उपयोगकर्ताओं के लिए कौन सा दूरस्थ कॉन्फ़िगरेशन पैरामीटर परिवर्तित करना है।
   • इन-ऐप मैसेजिंग प्रयोग के लिए, यह निर्धारित करने के लिए संवाद का उपयोग करें कि किस संस्करण को स्टैंडअलोन इन-ऐप मैसेजिंग अभियान के रूप में रोल आउट करने की आवश्यकता है। एक बार चुने जाने के बाद, आपको प्रकाशन से पहले किसी भी परिवर्तन (यदि आवश्यक हो) बनाने के लिए FIAM स्क्रीन पर रीडायरेक्ट किया जाएगा।

एक प्रयोग का विस्तार करें

यदि आपको पता चलता है कि नेता घोषित करने के लिए ए / बी टेस्टिंग के लिए पर्याप्त उपयोगकर्ता में कोई प्रयोग नहीं किया जा रहा है, तो आप ऐप के उपयोगकर्ता आधार के एक बड़े प्रतिशत तक पहुंचने के लिए अपने प्रयोग का वितरण बढ़ा सकते हैं।

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।
2. रनिंग पर क्लिक करें, अपने प्रयोग पर होवर करें, संदर्भ मेनू ( more_vert ) पर क्लिक करें और फिर वितरण बढ़ाएँ पर क्लिक करें।
3. कंसोल उन उपयोगकर्ताओं के प्रतिशत को बढ़ाने के लिए एक विकल्प के साथ एक संवाद प्रदर्शित करता है जो वर्तमान में चल रहे प्रयोग में हैं। वर्तमान प्रतिशत से अधिक संख्या इनपुट करें और भेजें पर क्लिक करें। प्रयोग को आपके द्वारा निर्दिष्ट उपयोगकर्ताओं के प्रतिशत तक धकेल दिया जाएगा।

किसी प्रयोग को डुप्लिकेट या रोकना

1. Firebase कंसोल नेविगेशन बार पर, बढ़ो पर क्लिक करें, फिर A / B परीक्षण पर क्लिक करें।
2. पूर्ण या रनिंग पर क्लिक करें, अपने प्रयोग पर होवर करें, संदर्भ मेनू पर क्लिक करें ( more_vert ), और फिर डुप्लिकेट या रोकें पर क्लिक करें।

उपयोगकर्ता लक्ष्यीकरण

आप निम्नलिखित उपयोगकर्ता-लक्ष्यीकरण मानदंडों का उपयोग करके अपने प्रयोग में शामिल करने के लिए उपयोगकर्ताओं को लक्षित कर सकते हैं।

ए / बी परीक्षण मैट्रिक्स

जब आप अपना प्रयोग बनाते हैं, तो आप एक ऐसे मीट्रिक का चयन करते हैं, जिसका उपयोग प्रयोग वेरिएंट की तुलना करने के लिए किया जाता है, और आप प्रत्येक प्रयोग संस्करण को बेहतर ढंग से समझने और किसी भी महत्वपूर्ण दुष्प्रभाव (जैसे ऐप क्रैश) का पता लगाने में आपकी मदद करने के लिए अन्य मीट्रिक भी चुन सकते हैं। निम्न तालिकाएँ लक्ष्य मैट्रिक्स और अन्य मैट्रिक्स की गणना कैसे की जाती हैं, इस पर विवरण प्रदान करती हैं।

लक्ष्य मीट्रिक

अन्य मेट्रिक्स

BigQuery डेटा निर्यात

आप BigQuery में अपने ए / बी परीक्षणों से संबंधित सभी विश्लेषिकी डेटा तक पहुंच सकते हैं। BigQuery आपको BigQuery SQL का उपयोग करके डेटा का विश्लेषण करने की अनुमति देता है, इसे किसी अन्य क्लाउड प्रदाता को निर्यात करता है, या अपने कस्टम एमएल मॉडल के लिए डेटा का उपयोग करता है। अधिक जानकारी के लिए Firebase का लिंक BigQuery देखें।

BigQuery डेटा निर्यात का पूरा लाभ उठाने के लिए, फायरबेस परियोजनाओं को "ब्लेज़" पे-एज़-यू-गो प्राइसिंग प्लान अपनाना चाहिए। डेटा स्टोर करने, आवेषण और डेटा क्वेरी करने के लिए BigQuery शुल्क लेता है। लोड और निर्यात डेटा नि: शुल्क है। अधिक जानकारी के लिए BigQuery मूल्य निर्धारण , या BigQuery सैंडबॉक्स देखें।

आरंभ करने के लिए, सुनिश्चित करें कि आपका Firebase प्रोजेक्ट BigQuery से जुड़ा हुआ है। सेटिंग्स> प्रोजेक्ट सेटिंग्स को बाएं नेविगेशन बार से चुनें, फिर एकीकरण> बिगविक> लिंक चुनें । यह पृष्ठ प्रोजेक्ट में सभी एप्लिकेशन के लिए BiqQuery एनालिटिक्स डेटा निर्यात करने के लिए विकल्प प्रदर्शित करता है।

एक प्रयोग के लिए एनालिटिक्स डेटा को क्वेरी करने के लिए:

1. अपनी सक्रिय प्रयोगों की सूची से, प्रयोग परिणाम पृष्ठ को खोलने के लिए वांछित प्रयोग का चयन करें।

2. प्रयोग अवलोकन फलक में more_vert संदर्भ मेनू से, View in BigQuery का चयन करें (यह विकल्प मुफ्त स्तरीय पर परियोजनाओं के लिए उपलब्ध नहीं है)।

   यह BigQuery कंसोल की क्वेरी कंपोज़र को आपकी समीक्षा के लिए पहले से लोड किए गए प्रयोग डेटा के ऑटोजेनरेटेड उदाहरण क्वेरी के साथ खोलता है। इस क्वेरी में, आपके प्रयोग को कुंजी में प्रयोग नाम और मूल्य में प्रयोग संस्करण के साथ एक उपयोगकर्ता संपत्ति के रूप में एन्कोड किया गया है।

3. क्वेरी कंपोज़र में, रन क्वेरी का चयन करें । परिणाम निचले फलक में प्रदर्शित होते हैं।

ध्यान दें कि, क्योंकि BigQuery में Firebase डेटा केवल एक बार दैनिक रूप से अपडेट किया जाता है, प्रयोग पृष्ठ में उपलब्ध डेटा BigQuery कंसोल में उपलब्ध डेटा की तुलना में अधिक हो सकता है।