A/B परीक्षण के साथ संदेश सेवा प्रयोग बनाएं

जब आप अपने उपयोगकर्ताओं तक पहुंच रहे हैं या एक नया मार्केटिंग अभियान शुरू कर रहे हैं, तो आप यह सुनिश्चित करना चाहते हैं कि आप इसे सही कर रहे हैं। A/B परीक्षण आपके उपयोगकर्ता आधार के चयनित भागों पर संदेश प्रकारों का परीक्षण करके इष्टतम शब्दों और प्रस्तुतिकरण को खोजने में आपकी सहायता कर सकता है। चाहे आपका लक्ष्य बेहतर प्रतिधारण हो या किसी ऑफ़र पर रूपांतरण, ए/बी परीक्षण यह निर्धारित करने के लिए सांख्यिकीय विश्लेषण कर सकता है कि कोई संदेश प्रकार आपके चयनित उद्देश्य के लिए नियंत्रण समूह से बेहतर प्रदर्शन कर रहा है या नहीं।

नियंत्रण समूह के साथ A/B परीक्षण सुविधा प्रकारों के लिए, निम्न कार्य करें:

1. अपना प्रयोग बनाएं।
2. एक परीक्षण उपकरण पर अपने प्रयोग की पुष्टि करें।
3. अपना प्रयोग प्रबंधित करें।

एक प्रयोग बनाएं

एक प्रयोग जो सूचना कंपोज़र का उपयोग करता है, आपको एक सूचना संदेश पर अनेक प्रकारों का मूल्यांकन करने देता है।

1. Firebase, अद्यतन करने के लिए प्रवेश डेटा साझाकरण सेटिंग और यह सुनिश्चित करें कि डेटा साझा सक्षम है। डेटा साझाकरण के बिना, आपके प्रयोग के पास विश्लेषिकी डेटा तक पहुंच नहीं होगी।
2. की धारा संलग्न में Firebase सांत्वना नेविगेशन पट्टी, A / B परीक्षण पर क्लिक करें।
3. क्लिक करें प्रयोग बनाएँ, और जब सेवा के साथ प्रयोग करना चाहते हैं के लिए कहा जाए फिर सूचनाएं चुनें।
4. अपने प्रयोग के लिए एक नाम और वैकल्पिक वर्णन दर्ज करें और अगला क्लिक करें।

5. लक्ष्य निर्धारण फ़ील्ड भरें पहली बार प्रयोग का उपयोग करता है एप्लिकेशन चुनने। आप निम्नलिखित विकल्पों को चुनकर अपने प्रयोग में भाग लेने के लिए अपने उपयोगकर्ताओं के एक सबसेट को भी लक्षित कर सकते हैं:

   • संस्करण: एक या अपने अनुप्रयोग के अधिक संस्करणों
   • उपयोगकर्ता दर्शकों: लक्ष्य उपयोगकर्ताओं के लिए इस्तेमाल किया एनालिटिक्स दर्शकों जो प्रयोग में शामिल किया जा सकता है
   • उपयोगकर्ता संपत्ति: एक या अधिक का चयन उपयोगकर्ताओं के लिए Analytics उपयोगकर्ता गुण जो प्रयोग में शामिल किया जा सकता है
   • भविष्यवाणी: मशीन सीखने ने भविष्यवाणी उपयोगकर्ताओं के समूह विशेष व्यवहार में संलग्न होने
   • देश / क्षेत्र: एक या अधिक देशों या का चयन उपयोगकर्ताओं के लिए क्षेत्रों जो प्रयोग में शामिल किया जा सकता है
   • डिवाइस भाषा: एक या अधिक भाषाओं और स्थानों उपयोगकर्ताओं का चयन करने के लिए प्रयोग किया जाता है जो प्रयोग में शामिल किया जा सकता है

6. लक्ष्य उपयोगकर्ताओं का प्रतिशत निर्धारित करें: मापदंड लक्ष्य उपयोगकर्ताओं के तहत सेट मिलान अपने उपयोगकर्ता आधार का प्रतिशत का चयन करें कि आप समान रूप से नियंत्रण समूह और एक या अधिक अपने प्रयोग में वेरिएंट के बीच विभाजन करना चाहते हैं। यह 0.01% और 100% के बीच कोई भी प्रतिशत हो सकता है। डुप्लिकेट किए गए प्रयोगों सहित, प्रत्येक प्रयोग के लिए उपयोगकर्ताओं को प्रतिशत यादृच्छिक रूप से पुन: असाइन किए जाते हैं।

7. वेरिएंट अनुभाग में, संदेश दर्ज करें पाठ क्षेत्र में नियंत्रण समूह को भेजने के लिए एक संदेश लिखें। नियंत्रण समूह को कोई संदेश न भेजने के लिए, इस फ़ील्ड को खाली छोड़ दें।

8. (वैकल्पिक) अपने प्रयोग के लिए एक से अधिक संस्करण जोड़ने के लिए, क्लिक करें संस्करण जोड़ें। डिफ़ॉल्ट रूप से, प्रयोगों में एक नियंत्रण समूह और एक प्रकार होता है।

9. (वैकल्पिक) नाम संस्करण ए, बी संस्करण, आदि को बदलने के लिए अपने प्रयोग में प्रत्येक संस्करण के लिए एक नाम दर्ज करें

10. ड्रॉपडाउन सूची से किसी भी वांछित अतिरिक्त मीट्रिक के साथ प्रयोग के प्रकारों का मूल्यांकन करते समय अपने प्रयोग के लिए एक लक्ष्य मीट्रिक निर्धारित करें। इन मीट्रिक में अंतर्निहित उद्देश्य (सगाई, खरीदारी, आय, प्रतिधारण, आदि), Analytics रूपांतरण ईवेंट और अन्य Analytics ईवेंट शामिल हैं।

11. अपने संदेश के लिए विकल्प चुनें:

    • डिलीवरी की तारीख: या तो अब भेजें बचत पर तुरंत अपना प्रयोग शुरू करने के लिए, या एक समय भविष्य में अपने प्रयोग आरंभ करने के निर्दिष्ट करने के लिए शेड्यूल किया गया चुनें।
    • अतिरिक्त सेटिंग: सभी सूचनाएं अपने प्रयोग में शामिल के लिए उन्नत विकल्प चुनने के लिए, उन्नत विकल्प विस्तृत करें और फिर सूचीबद्ध संदेश विकल्पों में से किसी बदल जाते हैं।

12. अपने प्रयोग को बचाने के लिए क्लिक करें समीक्षा।

आपको प्रति प्रोजेक्ट 300 प्रयोगों तक की अनुमति है, जिसमें 24 चल रहे प्रयोग शामिल हो सकते हैं, शेष ड्राफ़्ट के रूप में या पूर्ण हो सकते हैं।

एक परीक्षण उपकरण पर अपने प्रयोग की पुष्टि करें

प्रत्येक Firebase स्थापना के लिए आप इससे संबद्ध FCM पंजीकरण टोकन प्राप्त कर सकते हैं। आप इस टोकन का उपयोग किसी ऐसे परीक्षण उपकरण पर विशिष्ट प्रयोग प्रकारों का परीक्षण करने के लिए कर सकते हैं, जिसमें आपका ऐप्लिकेशन इंस्टॉल है। परीक्षण उपकरण पर अपने प्रयोग को सत्यापित करने के लिए, निम्न कार्य करें:

1. FCM पंजीकरण टोकन इस प्रकार प्राप्त करें:

   तीव्र

   Messaging.messaging().token { token, error in
     if let error = error {
       print("Error fetching FCM registration token: \(error)")
     } else if let token = token {
       print("FCM registration token: \(token)")
       self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
     }
   }
   

   उद्देश्य सी

   [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
     if (error != nil) {
       NSLog(@"Error getting FCM registration token: %@", error);
     } else {
       NSLog(@"FCM registration token: %@", token);
       self.fcmRegTokenMessage.text = token;
     }
   }];
   

   जावा

   FirebaseMessaging.getInstance().getToken()
       .addOnCompleteListener(new OnCompleteListener<String>() {
           @Override
           public void onComplete(@NonNull Task<String> task) {
             if (!task.isSuccessful()) {
               Log.w(TAG, "Fetching FCM registration token failed", task.getException());
               return;
             }
   
             // Get new FCM registration token
             String token = task.getResult();
   
             // Log and toast
             String msg = getString(R.string.msg_token_fmt, token);
             Log.d(TAG, msg);
             Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
           }
       });

   कोटलिन + केटीएक्स

   FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
       if (!task.isSuccessful) {
           Log.w(TAG, "Fetching FCM registration token failed", task.exception)
           return@OnCompleteListener
       }
   
       // Get new FCM registration token
       val token = task.result
   
       // Log and toast
       val msg = getString(R.string.msg_token_fmt, token)
       Log.d(TAG, msg)
       Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
   })

   सी++

   firebase::InitResult init_result;
   auto* installations_object = firebase::installations::Installations::GetInstance(
       firebase::App::GetInstance(), &init_result);
   installations_object->GetToken().OnCompletion(
       [](const firebase::Future& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::installations::kErrorNone) {
           printf("Installations Auth Token %s\n", future.result()->c_str());
         }
       });
       

   Unity

   Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
       }
     });
   

2. पर Firebase सांत्वना नेविगेशन पट्टी, A / B परीक्षण पर क्लिक करें।
3. , मंडराना प्रयोग समाप्त, ड्राफ्ट क्लिक करें संदर्भ मेनू (क्लिक करें more_vert ), और फिर परीक्षण उपकरणों को प्रबंधित करें क्लिक करें
4. परीक्षण उपकरण के लिए FCM टोकन दर्ज करें और उस परीक्षण उपकरण को भेजने के लिए प्रयोग प्रकार चुनें।
5. ऐप चलाएं और पुष्टि करें कि चयनित संस्करण परीक्षण डिवाइस पर प्राप्त किया जा रहा है।

अपना प्रयोग प्रबंधित करें

चाहे आप रिमोट कॉन्फिग, नोटिफिकेशन कंपोजर या फायरबेस इन-ऐप मैसेजिंग के साथ एक प्रयोग बनाते हैं, फिर आप अपने प्रयोग को सत्यापित और शुरू कर सकते हैं, अपने प्रयोग को चलने के दौरान मॉनिटर कर सकते हैं, और अपने चल रहे प्रयोग में शामिल उपयोगकर्ताओं की संख्या बढ़ा सकते हैं।

जब आपका प्रयोग हो जाता है, तो आप विजेता संस्करण द्वारा उपयोग की जाने वाली सेटिंग्स पर ध्यान दे सकते हैं, और फिर उन सेटिंग्स को सभी उपयोगकर्ताओं के लिए रोल आउट कर सकते हैं। या, आप कोई अन्य प्रयोग चला सकते हैं।

एक प्रयोग शुरू करें

1. की धारा संलग्न में Firebase सांत्वना नेविगेशन पट्टी, A / B परीक्षण पर क्लिक करें।
2. ड्राफ्ट क्लिक करें और फिर अपने प्रयोग के शीर्षक पर क्लिक करें।
3. सत्यापित करें कि आपके ऐप्लिकेशन उपयोगकर्ताओं को अपने प्रयोग में शामिल किया जाएगा है करने के लिए, मसौदा विवरण का विस्तार करने और लक्ष्य निर्धारण और वितरण खंड में 0% से बड़ी संख्या के लिए जाँच (उदाहरण के लिए, मापदंड से मेल खाने उपयोगकर्ताओं के 1%)।
4. अपने प्रयोग को बदलने के लिए, संपादित करें पर क्लिक करें।
5. अपना प्रयोग शुरू करने के लिए, प्रारंभ प्रयोग पर क्लिक करें। आप एक बार में प्रति प्रोजेक्ट 24 प्रयोग तक चला सकते हैं।

एक प्रयोग की निगरानी करें

एक बार प्रयोग के कुछ समय तक चलने के बाद, आप इसकी प्रगति की जांच कर सकते हैं और देख सकते हैं कि आपके प्रयोग में अब तक भाग लेने वाले उपयोगकर्ताओं के लिए आपके परिणाम कैसा दिखाई देते हैं।

1. की धारा संलग्न में Firebase सांत्वना नेविगेशन पट्टी, A / B परीक्षण पर क्लिक करें।

2. रनिंग क्लिक करें और फिर अपने प्रयोग के शीर्षक पर क्लिक करें। इस पृष्ठ पर, आप अपने चल रहे प्रयोग के बारे में निम्नलिखित सहित विभिन्न देखे गए और मॉडल किए गए आंकड़े देख सकते हैं:

   • आधारभूत से% अंतर: आधार रेखा (या नियंत्रण समूह) की तुलना में एक दिया संस्करण के लिए एक मीट्रिक के सुधार का एक उपाय। वैरिएंट के लिए मान श्रेणी की तुलना बेसलाइन की मान श्रेणी से की जाती है.
   • हरा आधारभूत करने के लिए संभावना: अनुमानित संभावना है कि किसी दिए गए संस्करण चुने गए मीट्रिक के लिए आधारभूत धड़कता है।
   • observed_metric प्रति उपयोगकर्ता: प्रयोग के परिणामों के आधार पर, इस भविष्यवाणी की रेंज कि मीट्रिक मूल्य से अधिक समय में गिर जाएगा।
   • कुल observed_metric : नियंत्रण समूह या संस्करण के लिए मनाया संचयी मूल्य। मूल्य कितनी अच्छी तरह प्रत्येक प्रयोग संस्करण प्रदर्शन को मापने के लिए प्रयोग किया जाता है, और सुधार, मान श्रेणी, हरा आधारभूत करने के लिए संभावना है, और संभावना की गणना करने के लिए सबसे अच्छा विविधता समझा जाता है। मापी जा रही मीट्रिक के आधार पर, इस कॉलम को "प्रति उपयोगकर्ता अवधि," "प्रति उपयोगकर्ता आय," "अवधारण दर," या "रूपांतरण दर" लेबल किया जा सकता है।

3. आपका प्रयोग कुछ समय तक चलने के बाद (FCM और इन-ऐप मैसेजिंग के लिए कम से कम 7 दिन या रिमोट कॉन्फ़िगरेशन के लिए 14 दिन), इस पृष्ठ का डेटा इंगित करता है कि कौन सा संस्करण, यदि कोई है, "लीडर" है। कुछ मापों के साथ एक बार चार्ट होता है जो डेटा को एक दृश्य प्रारूप में प्रस्तुत करता है।

सभी उपयोगकर्ताओं के लिए एक प्रयोग शुरू करें

किसी प्रयोग के इतने लंबे समय तक चलने के बाद कि आपके पास अपने लक्ष्य मीट्रिक के लिए "लीडर" या विजेता प्रकार है, आप प्रयोग को 100% उपयोगकर्ताओं के लिए शुरू कर सकते हैं। यह आपको आगे बढ़ने वाले सभी उपयोगकर्ताओं के लिए प्रकाशित करने के लिए एक प्रकार का चयन करने की अनुमति देता है। भले ही आपके प्रयोग ने स्पष्ट विजेता न बनाया हो, फिर भी आप अपने सभी उपयोगकर्ताओं के लिए एक प्रकार को रोल आउट करना चुन सकते हैं।

1. की धारा संलग्न में Firebase सांत्वना नेविगेशन पट्टी, A / B परीक्षण पर क्लिक करें।
2. पूरे या चल रहा है पर क्लिक करें, किसी प्रयोग पर क्लिक करें कि आप सभी उपयोगकर्ताओं के लिए शुरू कर संदर्भ मेनू (पर क्लिक करना चाहते more_vert ), और फिर बाहर संस्करण रोल पर क्लिक करें।

3. निम्नलिखित में से कोई एक करके अपना प्रयोग सभी उपयोगकर्ताओं के लिए रोल आउट करें:

   • एक प्रयोग सूचनाएं संगीतकार का उपयोग करता है के लिए, बाहर संदेश संवाद रोल का उपयोग शेष लक्षित उपयोगकर्ताओं को, जो प्रयोग का हिस्सा नहीं थे करने के लिए संदेश भेजने के लिए।
   • रिमोट कॉन्फ़िगरेशन प्रयोग के लिए, यह निर्धारित करने के लिए एक प्रकार का चयन करें कि कौन सा रिमोट कॉन्फ़िगरेशन पैरामीटर मान अपडेट करना है। प्रयोग बनाते समय निर्धारित लक्ष्यीकरण मानदंड आपके टेम्प्लेट में एक नई शर्त के रूप में जोड़े जाएंगे, ताकि यह सुनिश्चित हो सके कि रोलआउट केवल प्रयोग द्वारा लक्षित उपयोगकर्ताओं को प्रभावित करता है। परिवर्तनों की समीक्षा करने रिमोट कॉन्फ़िग में समीक्षा क्लिक करने के बाद, रोलआउट पूरा करने के लिए परिवर्तन प्रकाशित करें क्लिक करें।
   • इन-ऐप मैसेजिंग प्रयोग के लिए, डायलॉग का उपयोग करके यह निर्धारित करें कि किस प्रकार को स्टैंडअलोन इन-ऐप मैसेजिंग अभियान के रूप में रोल आउट करने की आवश्यकता है। एक बार चुने जाने के बाद, आपको प्रकाशन से पहले कोई भी परिवर्तन (यदि आवश्यक हो) करने के लिए FIAM कंपोज़ स्क्रीन पर पुनर्निर्देशित किया जाएगा।

एक प्रयोग का विस्तार करें

यदि आप पाते हैं कि कोई प्रयोग A/B परीक्षण के लिए एक लीडर घोषित करने के लिए पर्याप्त उपयोगकर्ता नहीं ला रहा है, तो आप ऐप के उपयोगकर्ता आधार के बड़े प्रतिशत तक पहुंचने के लिए अपने प्रयोग का वितरण बढ़ा सकते हैं।

1. की धारा संलग्न में Firebase सांत्वना नेविगेशन पट्टी, A / B परीक्षण पर क्लिक करें।
2. चल रहे प्रयोग का चयन करें जिसे आप संपादित करना चाहते हैं।
3. प्रयोग अवलोकन में, संदर्भ मेनू (क्लिक करें more_vert ), और फिर संपादित करें क्लिक करें जारी प्रयोग।
4. लक्ष्य निर्धारण संवाद प्रदर्शित करता है एक विकल्प उपयोगकर्ताओं को, जो वर्तमान में चल रहे प्रयोग में हैं के प्रतिशत में वृद्धि करने के लिए। वर्तमान प्रतिशत से बड़ी संख्या का चयन करें और प्रकाशित करें क्लिक करें। प्रयोग आपके द्वारा निर्दिष्ट उपयोगकर्ताओं के प्रतिशत तक धकेल दिया जाएगा।

किसी प्रयोग को डुप्लीकेट या बंद करें

1. की धारा संलग्न में Firebase सांत्वना नेविगेशन पट्टी, A / B परीक्षण पर क्लिक करें।
2. पूरे या, रनिंग मंडराना प्रयोग समाप्त करें क्लिक करें, संदर्भ मेनू (क्लिक करें more_vert ), और फिर डुप्लिकेट प्रयोग या प्रयोग बंद करें क्लिक करें।

उपयोगकर्ता लक्ष्यीकरण

आप निम्न उपयोगकर्ता-लक्षित मानदंड का उपयोग करके उपयोगकर्ताओं को अपने प्रयोग में शामिल करने के लिए लक्षित कर सकते हैं।

ए/बी परीक्षण मेट्रिक्स

जब आप अपना प्रयोग बनाते हैं, तो आप एक मीट्रिक चुनते हैं जिसका उपयोग प्रयोग विविधताओं की तुलना करने के लिए किया जाता है, और आप ट्रैक करने के लिए अन्य मीट्रिक भी चुन सकते हैं ताकि आप प्रत्येक प्रयोग प्रकार को बेहतर ढंग से समझ सकें और किसी भी महत्वपूर्ण दुष्प्रभाव (जैसे ऐप क्रैश) का पता लगा सकें। निम्न तालिकाएं लक्ष्य मीट्रिक और अन्य मीट्रिक की गणना के तरीके के बारे में विवरण प्रदान करती हैं।

लक्ष्य मेट्रिक्स

अन्य मेट्रिक्स

BigQuery डेटा निर्यात

आप सभी एनालिटिक्स में अपने ए / बी परीक्षण से संबंधित डेटा का उपयोग कर सकते हैं BigQuery । BigQuery आपको BigQuery SQL का उपयोग करके डेटा का विश्लेषण करने, उसे किसी अन्य क्लाउड प्रदाता को निर्यात करने या अपने कस्टम ML मॉडल के लिए डेटा का उपयोग करने की अनुमति देता है। देखें Firebase के लिए लिंक BigQuery अधिक जानकारी के लिए।

BigQuery डेटा निर्यात का पूरा लाभ उठाने के लिए, Firebase प्रोजेक्ट्स को "ब्लेज़" पे-एज़-यू-गो मूल्य निर्धारण योजना अपनानी चाहिए। BigQuery डेटा स्टोर करने, इंसर्ट स्ट्रीम करने और डेटा क्वेरी करने के लिए शुल्क लेता है. डेटा लोड करना और निर्यात करना नि: शुल्क है। देखें BigQuery मूल्य निर्धारण , या BigQuery सैंडबॉक्स अधिक जानकारी के लिए।

शुरू करने के लिए, पक्का करें कि आपका Firebase प्रोजेक्ट BigQuery से जुड़ा है. सेटिंग> बाएं नेविगेशन बार से परियोजना सेटिंग्स चुनें, उसके बाद एकीकरण> BigQuery> लिंक। यह पृष्ठ प्रोजेक्ट में सभी ऐप्स के लिए BiqQuery एनालिटिक्स डेटा निर्यात करने के विकल्प प्रदर्शित करता है।

किसी प्रयोग के लिए विश्लेषण डेटा क्वेरी करने के लिए:

1. अपने से सक्रिय प्रयोग सूची, प्रयोग के परिणामों को पृष्ठ खोलने के लिए इच्छित प्रयोग का चयन करें।

2. से more_vert प्रयोग सिंहावलोकन फलक में संदर्भ मेनू, क्वेरी प्रयोग डेटा का चयन करें (इस विकल्प को मुक्त स्तरीय पर परियोजनाओं के लिए उपलब्ध नहीं है)।

   इससे BigQuery कंसोल का क्वेरी कंपोज़र खुल जाता है, जिसमें आपकी समीक्षा के लिए पहले से लोड किए गए प्रयोग डेटा की एक ऑटोजेनरेटेड उदाहरण क्वेरी होती है। इस क्वेरी में, आपका प्रयोग कुंजी में प्रयोग नाम और मान में प्रयोग प्रकार के साथ एक उपयोगकर्ता प्रॉपर्टी के रूप में एन्कोड किया गया है।

3. क्वेरी संगीतकार में, भागो क्वेरी का चयन करें। परिणाम निचले फलक में प्रदर्शित होते हैं।

ध्यान दें, क्योंकि BigQuery में Firebase डेटा प्रतिदिन केवल एक बार अपडेट किया जाता है, प्रयोग पृष्ठ में उपलब्ध डेटा BigQuery कंसोल में उपलब्ध डेटा से अधिक अद्यतित हो सकता है।