A/B परीक्षण के साथ संदेश सेवा प्रयोग बनाएं

जब आप अपने उपयोगकर्ताओं तक पहुंच रहे हैं या एक नया मार्केटिंग अभियान शुरू कर रहे हैं, तो आप यह सुनिश्चित करना चाहते हैं कि आप इसे सही तरीके से प्राप्त करें। ए/बी परीक्षण आपके उपयोगकर्ता आधार के चयनित भागों पर संदेश वेरिएंट का परीक्षण करके इष्टतम शब्दों और प्रस्तुति को ढूंढने में आपकी सहायता कर सकता है। चाहे आपका लक्ष्य किसी प्रस्ताव पर बेहतर प्रतिधारण या रूपांतरण हो, ए/बी परीक्षण यह निर्धारित करने के लिए सांख्यिकीय विश्लेषण कर सकता है कि कोई संदेश संस्करण आपके चयनित उद्देश्य के लिए आधार रेखा से बेहतर प्रदर्शन कर रहा है या नहीं।

बेसलाइन के साथ फीचर वेरिएंट का ए/बी परीक्षण करने के लिए, निम्नलिखित कार्य करें:

  1. अपना प्रयोग बनाएं.
  2. किसी परीक्षण उपकरण पर अपने प्रयोग को सत्यापित करें.
  3. अपना प्रयोग प्रबंधित करें.

एक प्रयोग बनाएँ

नोटिफिकेशन कंपोज़र का उपयोग करने वाला एक प्रयोग आपको एक ही अधिसूचना संदेश पर कई वेरिएंट का मूल्यांकन करने देता है।

  1. फायरबेस कंसोल में साइन इन करें और सत्यापित करें कि आपके प्रोजेक्ट में Google Analytics सक्षम है ताकि प्रयोग को Analytics डेटा तक पहुंच प्राप्त हो।

    यदि आपने अपना प्रोजेक्ट बनाते समय Google Analytics को सक्षम नहीं किया है, तो आप इसे एकीकरण टैब पर सक्षम कर सकते हैं, जिसे आप फायरबेस कंसोल में > प्रोजेक्ट सेटिंग्स का उपयोग करके एक्सेस कर सकते हैं।

  2. फायरबेस कंसोल नेविगेशन बार के एंगेज सेक्शन में, ए/बी टेस्टिंग पर क्लिक करें।

  3. प्रयोग बनाएं पर क्लिक करें और फिर जिस सेवा के साथ आप प्रयोग करना चाहते हैं उसके लिए पूछे जाने पर सूचनाएं चुनें।

  4. अपने प्रयोग के लिए एक नाम और वैकल्पिक विवरण दर्ज करें, और अगला क्लिक करें।

  5. सबसे पहले उस ऐप को चुनें जो आपके प्रयोग का उपयोग करता है, लक्ष्यीकरण फ़ील्ड भरें। आप निम्नलिखित विकल्पों को चुनकर अपने प्रयोग में भाग लेने के लिए अपने उपयोगकर्ताओं के एक उपसमूह को भी लक्षित कर सकते हैं:

    • संस्करण: आपके ऐप का एक या अधिक संस्करण
    • उपयोगकर्ता दर्शक: एनालिटिक्स दर्शकों का उपयोग उन उपयोगकर्ताओं को लक्षित करने के लिए किया जाता है जिन्हें प्रयोग में शामिल किया जा सकता है
    • उपयोगकर्ता संपत्ति: प्रयोग में शामिल किए जा सकने वाले उपयोगकर्ताओं को चुनने के लिए एक या अधिक Analytics उपयोगकर्ता संपत्तियां
    • देश/क्षेत्र: उन उपयोगकर्ताओं को चुनने के लिए एक या अधिक देश या क्षेत्र जिन्हें प्रयोग में शामिल किया जा सकता है
    • डिवाइस भाषा: प्रयोग में शामिल किए जा सकने वाले उपयोगकर्ताओं का चयन करने के लिए एक या अधिक भाषाओं और स्थानों का उपयोग किया जाता है
    • फर्स्ट ओपन: उपयोगकर्ताओं को इस आधार पर लक्षित करें कि उन्होंने आपका ऐप पहली बार कब खोला
    • अंतिम ऐप सहभागिता: उपयोगकर्ताओं को इस आधार पर लक्षित करें कि वे पिछली बार आपके ऐप से कब जुड़े थे
  6. लक्षित उपयोगकर्ताओं का प्रतिशत निर्धारित करें: लक्ष्य उपयोगकर्ताओं के अंतर्गत निर्धारित मानदंड से मेल खाने वाले अपने ऐप के उपयोगकर्ता आधार का प्रतिशत चुनें, जिसे आप अपने प्रयोग में बेसलाइन और एक या अधिक वेरिएंट के बीच समान रूप से विभाजित करना चाहते हैं। यह 0.01% से 100% के बीच कोई भी प्रतिशत हो सकता है। डुप्लिकेट किए गए प्रयोगों सहित, प्रत्येक प्रयोग के लिए उपयोगकर्ताओं को प्रतिशत यादृच्छिक रूप से पुन: असाइन किए जाते हैं।

  7. वेरिएंट अनुभाग में, संदेश टेक्स्ट फ़ील्ड दर्ज करें में बेसलाइन समूह को भेजने के लिए एक संदेश टाइप करें। बेसलाइन समूह को कोई संदेश न भेजने के लिए, इस फ़ील्ड को खाली छोड़ दें।

  8. (वैकल्पिक) अपने प्रयोग में एक से अधिक वैरिएंट जोड़ने के लिए, वैरिएंट जोड़ें पर क्लिक करें। डिफ़ॉल्ट रूप से, प्रयोगों में एक आधार रेखा और एक प्रकार होता है।

  9. (वैकल्पिक) वेरिएंट ए , वेरिएंट बी , आदि नामों को बदलने के लिए अपने प्रयोग में प्रत्येक वेरिएंट के लिए एक नाम दर्ज करें।

  10. ड्रॉपडाउन सूची से किसी भी वांछित अतिरिक्त मीट्रिक के साथ प्रयोग वेरिएंट का मूल्यांकन करते समय उपयोग करने के लिए अपने प्रयोग के लिए एक लक्ष्य मीट्रिक परिभाषित करें। इन मेट्रिक्स में अंतर्निहित उद्देश्य (सगाई, खरीदारी, राजस्व, प्रतिधारण, आदि), एनालिटिक्स रूपांतरण इवेंट और अन्य एनालिटिक्स इवेंट शामिल हैं।

  11. अपने संदेश के लिए विकल्प चुनें:

    • डिलीवरी की तारीख: बचत पर अपना प्रयोग तुरंत शुरू करने के लिए या तो अभी भेजें चुनें, या भविष्य में अपना प्रयोग शुरू करने के लिए समय निर्दिष्ट करने के लिए शेड्यूल करें चुनें
    • उन्नत विकल्प: अपने प्रयोग में शामिल सभी सूचनाओं के लिए उन्नत विकल्प चुनने के लिए, उन्नत विकल्प का विस्तार करें, और फिर सूचीबद्ध किसी भी संदेश विकल्प को बदलें।
  12. अपना प्रयोग सहेजने के लिए समीक्षा पर क्लिक करें।

आपको प्रति प्रोजेक्ट 300 प्रयोगों तक की अनुमति है, जिसमें 24 चल रहे प्रयोग शामिल हो सकते हैं, बाकी ड्राफ्ट या पूर्ण के रूप में।

किसी परीक्षण उपकरण पर अपने प्रयोग को सत्यापित करें

प्रत्येक फायरबेस इंस्टॉलेशन के लिए आप उससे जुड़े एफसीएम पंजीकरण टोकन को पुनः प्राप्त कर सकते हैं। आप इस टोकन का उपयोग अपने ऐप इंस्टॉल किए गए परीक्षण डिवाइस पर विशिष्ट प्रयोग प्रकारों का परीक्षण करने के लिए कर सकते हैं। किसी परीक्षण उपकरण पर अपने प्रयोग को मान्य करने के लिए, निम्नलिखित कार्य करें:

  1. एफसीएम पंजीकरण टोकन इस प्रकार प्राप्त करें:

    तीव्र

    Messaging.messaging().token { token, error in
      if let error = error {
        print("Error fetching FCM registration token: \(error)")
      } else if let token = token {
        print("FCM registration token: \(token)")
        self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
      }
    }
    

    उद्देश्य सी

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
      if (error != nil) {
        NSLog(@"Error getting FCM registration token: %@", error);
      } else {
        NSLog(@"FCM registration token: %@", token);
        self.fcmRegTokenMessage.text = token;
      }
    }];
    

    Java

    FirebaseMessaging.getInstance().getToken()
        .addOnCompleteListener(new OnCompleteListener<String>() {
            @Override
            public void onComplete(@NonNull Task<String> task) {
              if (!task.isSuccessful()) {
                Log.w(TAG, "Fetching FCM registration token failed", task.getException());
                return;
              }
    
              // Get new FCM registration token
              String token = task.getResult();
    
              // Log and toast
              String msg = getString(R.string.msg_token_fmt, token);
              Log.d(TAG, msg);
              Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
            }
        });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
        if (!task.isSuccessful) {
            Log.w(TAG, "Fetching FCM registration token failed", task.exception)
            return@OnCompleteListener
        }
    
        // Get new FCM registration token
        val token = task.result
    
        // Log and toast
        val msg = getString(R.string.msg_token_fmt, token)
        Log.d(TAG, msg)
        Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
    })

    सी++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
        

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
        }
      });
    
  2. फायरबेस कंसोल नेविगेशन बार पर, ए/बी टेस्टिंग पर क्लिक करें।
  3. ड्राफ्ट पर क्लिक करें, अपने प्रयोग पर होवर करें, संदर्भ मेनू ( ) पर क्लिक करें, और फिर परीक्षण डिवाइस प्रबंधित करें पर क्लिक करें
  4. किसी परीक्षण उपकरण के लिए FCM टोकन दर्ज करें और उस परीक्षण उपकरण पर भेजने के लिए प्रयोग संस्करण चुनें।
  5. ऐप चलाएं और पुष्टि करें कि चयनित वेरिएंट परीक्षण डिवाइस पर प्राप्त हो रहा है।

अपना प्रयोग प्रबंधित करें

चाहे आप रिमोट कॉन्फिग, नोटिफिकेशन कंपोजर, या फायरबेस इन-ऐप मैसेजिंग के साथ एक प्रयोग बनाएं, फिर आप अपने प्रयोग को सत्यापित और शुरू कर सकते हैं, अपने प्रयोग को चलने के दौरान मॉनिटर कर सकते हैं, और अपने चल रहे प्रयोग में शामिल उपयोगकर्ताओं की संख्या बढ़ा सकते हैं।

जब आपका प्रयोग पूरा हो जाता है, तो आप विजेता संस्करण द्वारा उपयोग की गई सेटिंग्स पर ध्यान दे सकते हैं, और फिर उन सेटिंग्स को सभी उपयोगकर्ताओं के लिए लागू कर सकते हैं। या, आप कोई अन्य प्रयोग चला सकते हैं.

एक प्रयोग प्रारंभ करें

  1. फायरबेस कंसोल नेविगेशन मेनू के एंगेज अनुभाग में, ए/बी टेस्टिंग पर क्लिक करें।
  2. ड्राफ्ट पर क्लिक करें और फिर अपने प्रयोग के शीर्षक पर क्लिक करें।
  3. यह सत्यापित करने के लिए कि आपके ऐप में ऐसे उपयोगकर्ता हैं जिन्हें आपके प्रयोग में शामिल किया जाएगा, ड्राफ्ट विवरण का विस्तार करें और लक्ष्यीकरण और वितरण अनुभाग में 0% से अधिक संख्या की जांच करें (उदाहरण के लिए, मानदंडों से मेल खाने वाले 1% उपयोगकर्ता )।
  4. अपना प्रयोग बदलने के लिए, संपादित करें पर क्लिक करें।
  5. अपना प्रयोग शुरू करने के लिए, प्रयोग प्रारंभ करें पर क्लिक करें। आप एक समय में प्रति प्रोजेक्ट 24 प्रयोग तक चला सकते हैं।

एक प्रयोग की निगरानी करें

एक बार जब कोई प्रयोग कुछ समय से चल रहा हो, तो आप उसकी प्रगति की जांच कर सकते हैं और देख सकते हैं कि अब तक आपके प्रयोग में भाग लेने वाले उपयोगकर्ताओं के लिए आपके परिणाम कैसे दिखते हैं।

  1. फायरबेस कंसोल नेविगेशन मेनू के एंगेज अनुभाग में, ए/बी टेस्टिंग पर क्लिक करें।
  2. रनिंग पर क्लिक करें और फिर अपने प्रयोग के शीर्षक पर क्लिक करें या खोजें। इस पृष्ठ पर, आप अपने चल रहे प्रयोग के बारे में विभिन्न देखे गए और मॉडल किए गए आँकड़े देख सकते हैं, जिनमें निम्नलिखित शामिल हैं:

    • बेसलाइन से % अंतर : बेसलाइन की तुलना में किसी दिए गए वैरिएंट के लिए मीट्रिक में सुधार का एक माप। वैरिएंट के लिए मूल्य सीमा की बेसलाइन के लिए मूल्य सीमा से तुलना करके गणना की जाती है।
    • बेसलाइन को मात देने की संभावना : अनुमानित संभावना कि कोई दिया गया संस्करण चयनित मीट्रिक के लिए बेसलाइन को हरा देता है।
    • प्रति उपयोगकर्ता observed_metric : प्रयोग के परिणामों के आधार पर, यह अनुमानित सीमा है कि मीट्रिक मान समय के साथ गिर जाएगा।
    • कुल observed_metric : आधार रेखा या वैरिएंट के लिए अवलोकित संचयी मान। मूल्य का उपयोग यह मापने के लिए किया जाता है कि प्रत्येक प्रयोग संस्करण कितना अच्छा प्रदर्शन करता है, और इसका उपयोग सुधार , मूल्य सीमा , आधार रेखा को पार करने की संभावना और सर्वोत्तम संस्करण होने की संभावना की गणना करने के लिए किया जाता है। मापी जा रही मीट्रिक के आधार पर, इस कॉलम को "प्रति उपयोगकर्ता अवधि," "प्रति उपयोगकर्ता राजस्व," "प्रतिधारण दर," या "रूपांतरण दर" लेबल किया जा सकता है।
  3. आपका प्रयोग कुछ समय तक चलने के बाद (एफसीएम और इन-ऐप मैसेजिंग के लिए कम से कम 7 दिन या रिमोट कॉन्फिग के लिए 14 दिन), इस पृष्ठ पर डेटा इंगित करता है कि कौन सा संस्करण, यदि कोई है, "लीडर" है। कुछ मापों के साथ एक बार चार्ट भी होता है जो डेटा को दृश्य प्रारूप में प्रस्तुत करता है।

सभी उपयोगकर्ताओं के लिए एक प्रयोग शुरू करें

किसी प्रयोग के इतने लंबे समय तक चलने के बाद कि आपके पास अपने लक्ष्य मीट्रिक के लिए "लीडर" या विजेता संस्करण हो, आप प्रयोग को 100% उपयोगकर्ताओं के लिए जारी कर सकते हैं। यह आपको आगे बढ़ने वाले सभी उपयोगकर्ताओं के लिए प्रकाशित करने के लिए एक प्रकार का चयन करने की सुविधा देता है। भले ही आपके प्रयोग ने कोई स्पष्ट विजेता नहीं बनाया है, फिर भी आप अपने सभी उपयोगकर्ताओं के लिए एक संस्करण जारी करना चुन सकते हैं।

  1. फायरबेस कंसोल नेविगेशन मेनू के एंगेज अनुभाग में, ए/बी टेस्टिंग पर क्लिक करें।
  2. पूर्ण या चालू पर क्लिक करें, उस प्रयोग पर क्लिक करें जिसे आप सभी उपयोगकर्ताओं के लिए जारी करना चाहते हैं, संदर्भ मेनू ( ) रोल आउट वेरिएंट पर क्लिक करें।
  3. निम्नलिखित में से कोई एक कार्य करके अपना प्रयोग सभी उपयोगकर्ताओं के लिए शुरू करें:

    • नोटिफिकेशन कंपोज़र का उपयोग करने वाले प्रयोग के लिए, शेष लक्षित उपयोगकर्ताओं को संदेश भेजने के लिए रोल आउट संदेश संवाद का उपयोग करें जो प्रयोग का हिस्सा नहीं थे।
    • रिमोट कॉन्फिग प्रयोग के लिए, यह निर्धारित करने के लिए कि कौन से रिमोट कॉन्फिग पैरामीटर मान को अपडेट करना है, एक प्रकार का चयन करें। प्रयोग बनाते समय परिभाषित लक्ष्यीकरण मानदंड आपके टेम्पलेट में एक नई शर्त के रूप में जोड़ा जाता है, ताकि यह सुनिश्चित किया जा सके कि रोलआउट केवल प्रयोग द्वारा लक्षित उपयोगकर्ताओं को प्रभावित करता है। परिवर्तनों की समीक्षा करने के लिए रिमोट कॉन्फ़िगरेशन में समीक्षा पर क्लिक करने के बाद, रोलआउट को पूरा करने के लिए परिवर्तन प्रकाशित करें पर क्लिक करें।
    • इन-ऐप मैसेजिंग प्रयोग के लिए, यह निर्धारित करने के लिए संवाद का उपयोग करें कि किस संस्करण को स्टैंडअलोन इन-ऐप मैसेजिंग अभियान के रूप में शुरू करने की आवश्यकता है। एक बार चयनित होने पर, आपको प्रकाशन से पहले कोई भी बदलाव (यदि आवश्यक हो) करने के लिए FIAM कंपोज़ स्क्रीन पर पुनः निर्देशित किया जाता है।

एक प्रयोग का विस्तार करें

यदि आप पाते हैं कि कोई प्रयोग लीडर घोषित करने के लिए ए/बी परीक्षण के लिए पर्याप्त उपयोगकर्ता नहीं ला रहा है, तो आप ऐप के उपयोगकर्ता आधार के बड़े प्रतिशत तक पहुंचने के लिए अपने प्रयोग का वितरण बढ़ा सकते हैं।

  1. फायरबेस कंसोल नेविगेशन मेनू के एंगेज अनुभाग में, ए/बी टेस्टिंग पर क्लिक करें।
  2. वह चल रहा प्रयोग चुनें जिसे आप संपादित करना चाहते हैं.
  3. प्रयोग अवलोकन में, संदर्भ मेनू ( ) पर क्लिक करें, और फिर चल रहे प्रयोग को संपादित करें पर क्लिक करें।
  4. लक्ष्यीकरण संवाद चल रहे प्रयोग में शामिल उपयोगकर्ताओं का प्रतिशत बढ़ाने के लिए एक विकल्प प्रदर्शित करता है। वर्तमान प्रतिशत से अधिक संख्या का चयन करें और प्रकाशित करें पर क्लिक करें। प्रयोग को आपके द्वारा निर्दिष्ट उपयोगकर्ताओं के प्रतिशत तक पहुंचाया जाएगा।

किसी प्रयोग को डुप्लिकेट करना या बंद करना

  1. फायरबेस कंसोल नेविगेशन मेनू के एंगेज अनुभाग में, ए/बी टेस्टिंग पर क्लिक करें।
  2. पूर्ण या चालू पर क्लिक करें, अपने प्रयोग पर पॉइंटर को पकड़ें, संदर्भ मेनू ( ) पर क्लिक करें, और फिर डुप्लिकेट प्रयोग या प्रयोग रोकें पर क्लिक करें।

उपयोगकर्ता लक्ष्यीकरण

आप निम्नलिखित उपयोगकर्ता-लक्ष्यीकरण मानदंड का उपयोग करके उपयोगकर्ताओं को अपने प्रयोग में शामिल करने के लिए लक्षित कर सकते हैं।

लक्ष्यीकरण मानदंड ऑपरेटर मूल्य टिप्पणी
संस्करण रोकना,
शामिल नहीं है,
बिल्कुल मेल खाता है,
रेगेक्स शामिल है
एक या अधिक ऐप संस्करणों के लिए एक मान दर्ज करें जिन्हें आप प्रयोग में शामिल करना चाहते हैं।

किसी भी शामिल , शामिल नहीं है या सटीक ऑपरेटरों का उपयोग करते समय, आप मानों की अल्पविराम से अलग की गई सूची प्रदान कर सकते हैं।

सम्‍मिलित रेगेक्स ऑपरेटर का उपयोग करते समय, आप RE2 प्रारूप में नियमित अभिव्यक्ति बना सकते हैं। आपकी नियमित अभिव्यक्ति लक्ष्य संस्करण स्ट्रिंग के पूर्ण या आंशिक भाग से मेल खा सकती है। आप लक्ष्य स्ट्रिंग की शुरुआत, अंत या संपूर्णता से मिलान करने के लिए ^ और $ एंकर का भी उपयोग कर सकते हैं।

उपयोगकर्ता दर्शक सभी शामिल हैं,
इनमें से कम से कम एक शामिल है,
इसमें सभी शामिल नहीं हैं,
इनमें से कम से कम एक भी शामिल नहीं है
उन उपयोगकर्ताओं को लक्षित करने के लिए एक या अधिक Analytics ऑडियंस चुनें, जिन्हें आपके प्रयोग में शामिल किया जा सकता है। Google Analytics दर्शकों को लक्षित करने वाले कुछ प्रयोगों को डेटा जमा करने के लिए कुछ दिनों की आवश्यकता हो सकती है क्योंकि वे Analytics डेटा प्रोसेसिंग विलंबता के अधीन हैं। आपको नए उपयोगकर्ताओं के साथ इस देरी का सामना करने की सबसे अधिक संभावना है, जो आम तौर पर निर्माण के 24-48 घंटों के बाद या हाल ही में बनाए गए दर्शकों के लिए योग्य दर्शकों में नामांकित होते हैं।
उपयोगकर्ता संपत्ति पाठ के लिए:
रोकना,
शामिल नहीं है,
बिल्कुल मेल खाता है,
रेगेक्स शामिल है

संख्याओं के लिए:
<, ≤, =, ≥, >
एनालिटिक्स उपयोगकर्ता प्रॉपर्टी का उपयोग उन उपयोगकर्ताओं को चुनने के लिए किया जाता है जिन्हें किसी प्रयोग में शामिल किया जा सकता है, जिसमें उपयोगकर्ता प्रॉपर्टी मान चुनने के लिए विकल्पों की एक श्रृंखला होती है।

क्लाइंट पर, आप उपयोगकर्ता गुणों के लिए केवल स्ट्रिंग मान सेट कर सकते हैं। संख्यात्मक ऑपरेटरों का उपयोग करने वाली स्थितियों के लिए, रिमोट कॉन्फ़िगरेशन सेवा संबंधित उपयोगकर्ता संपत्ति के मान को पूर्णांक/फ्लोट में परिवर्तित करती है।
सम्‍मिलित रेगेक्स ऑपरेटर का उपयोग करते समय, आप RE2 प्रारूप में नियमित अभिव्यक्ति बना सकते हैं। आपकी नियमित अभिव्यक्ति लक्ष्य संस्करण स्ट्रिंग के पूर्ण या आंशिक भाग से मेल खा सकती है। आप लक्ष्य स्ट्रिंग की शुरुआत, अंत या संपूर्णता से मिलान करने के लिए ^ और $ एंकर का भी उपयोग कर सकते हैं।
देश/क्षेत्र एन/ए प्रयोग में शामिल किए जा सकने वाले उपयोगकर्ताओं का चयन करने के लिए एक या अधिक देशों या क्षेत्रों का उपयोग किया जाता है।
बोली एन/ए प्रयोग में शामिल किए जा सकने वाले उपयोगकर्ताओं का चयन करने के लिए एक या अधिक भाषाओं और स्थानों का उपयोग किया जाता है।
सबसे पहले खुला इससे अधिक
से कम
बीच में
उपयोगकर्ताओं को इस आधार पर लक्षित करें कि उन्होंने आपका ऐप पहली बार कब खोला, दिनों में निर्दिष्ट।
अंतिम ऐप सहभागिता इससे अधिक
से कम
बीच में
उपयोगकर्ताओं को दिनों में निर्दिष्ट इस आधार पर लक्षित करें कि वे आखिरी बार आपके ऐप से कब जुड़े थे।

ए/बी परीक्षण मेट्रिक्स

जब आप अपना प्रयोग बनाते हैं, तो आप एक प्राथमिक, या लक्ष्य मीट्रिक चुनते हैं, जिसका उपयोग विजेता संस्करण को निर्धारित करने के लिए किया जाता है। आपको प्रत्येक प्रयोग प्रकार के प्रदर्शन को बेहतर ढंग से समझने और उपयोगकर्ता प्रतिधारण, ऐप स्थिरता और इन-ऐप खरीदारी राजस्व जैसे प्रत्येक प्रकार के लिए भिन्न हो सकने वाले महत्वपूर्ण रुझानों को ट्रैक करने में मदद करने के लिए अन्य मीट्रिक को भी ट्रैक करना चाहिए। आप अपने प्रयोग में अधिकतम पाँच गैर-लक्ष्य मीट्रिक ट्रैक कर सकते हैं।

उदाहरण के लिए, मान लें कि आपने अपने ऐप में नई इन-ऐप खरीदारी जोड़ी है और दो अलग-अलग "नज" संदेशों की प्रभावशीलता की तुलना करना चाहते हैं। इस मामले में, आप खरीद राजस्व को अपने लक्ष्य मीट्रिक के रूप में सेट करने का निर्णय ले सकते हैं क्योंकि आप चाहते हैं कि विजेता संस्करण उस अधिसूचना का प्रतिनिधित्व करे जिसके परिणामस्वरूप उच्चतम इन-ऐप खरीदारी राजस्व प्राप्त हुआ। और क्योंकि आप यह भी ट्रैक करना चाहते हैं कि किस वैरिएंट के परिणामस्वरूप भविष्य में अधिक रूपांतरण हुए और उपयोगकर्ताओं को बनाए रखा गया, आप ट्रैक करने के लिए अन्य मेट्रिक्स में निम्नलिखित जोड़ सकते हैं:

  • यह देखने के लिए अनुमानित कुल राजस्व कि आपकी संयुक्त इन-ऐप खरीदारी और विज्ञापन राजस्व दोनों प्रकारों के बीच कैसे भिन्न है
  • आपके दैनिक/साप्ताहिक उपयोगकर्ता प्रतिधारण को ट्रैक करने के लिए प्रतिधारण (1 दिन) , प्रतिधारण (2-3 दिन) , प्रतिधारण (4-7 दिन)

निम्नलिखित तालिकाएँ इस बात का विवरण प्रदान करती हैं कि लक्ष्य मेट्रिक्स और अन्य मेट्रिक्स की गणना कैसे की जाती है।

लक्ष्य मेट्रिक्स

मीट्रिक विवरण
क्रैश-मुक्त उपयोगकर्ता उन उपयोगकर्ताओं का प्रतिशत जिन्हें आपके ऐप में उन त्रुटियों का सामना नहीं करना पड़ा है जिन्हें प्रयोग के दौरान फायरबेस क्रैशलाइटिक्स एसडीके द्वारा पता लगाया गया था।
अनुमानित विज्ञापन राजस्व अनुमानित विज्ञापन आय.
अनुमानित कुल राजस्व खरीदारी और अनुमानित विज्ञापन राजस्व का संयुक्त मूल्य.
खरीद राजस्व सभी purchase और in_app_purchase इवेंट के लिए संयुक्त मूल्य।
प्रतिधारण (1 दिन) उन उपयोगकर्ताओं की संख्या जो दैनिक आधार पर आपके ऐप पर लौटते हैं।
प्रतिधारण (2-3 दिन) उन उपयोगकर्ताओं की संख्या जो 2-3 दिनों के भीतर आपके ऐप पर वापस आते हैं।
प्रतिधारण (4-7 दिन) 4-7 दिनों के भीतर आपके ऐप पर लौटने वाले उपयोगकर्ताओं की संख्या।
प्रतिधारण (8-14 दिन) 8-14 दिनों के भीतर आपके ऐप पर लौटने वाले उपयोगकर्ताओं की संख्या।
प्रतिधारण (15+ दिन) उन उपयोगकर्ताओं की संख्या जो आपके ऐप का अंतिम उपयोग करने के 15 या अधिक दिनों के बाद उस पर वापस आते हैं।
पहले_खुला एक एनालिटिक्स इवेंट जो तब ट्रिगर होता है जब कोई उपयोगकर्ता किसी ऐप को इंस्टॉल या रीइंस्टॉल करने के बाद पहली बार खोलता है। रूपांतरण फ़नल के भाग के रूप में उपयोग किया जाता है।

अन्य मेट्रिक्स

मीट्रिक विवरण
अधिसूचना_ख़ारिज एक एनालिटिक्स इवेंट जो तब ट्रिगर होता है जब नोटिफिकेशन कंपोजर द्वारा भेजा गया नोटिफिकेशन खारिज कर दिया जाता है (केवल एंड्रॉइड)।
अधिसूचना_प्राप्त करें एक एनालिटिक्स इवेंट जो तब ट्रिगर होता है जब नोटिफिकेशन कंपोजर द्वारा भेजा गया नोटिफिकेशन प्राप्त होता है जबकि ऐप बैकग्राउंड में होता है (केवल एंड्रॉइड)।
ओएस_अपडेट एक एनालिटिक्स इवेंट जो डिवाइस ऑपरेटिंग सिस्टम को नए संस्करण में अपडेट किए जाने पर ट्रैक करता है। अधिक जानने के लिए, स्वचालित रूप से एकत्रित इवेंट देखें।
स्क्रीन_व्यू एक एनालिटिक्स इवेंट जो आपके ऐप के भीतर देखी गई स्क्रीन को ट्रैक करता है। अधिक जानने के लिए, ट्रैक स्क्रीनव्यू देखें।
सत्र_प्रारंभ एक एनालिटिक्स इवेंट जो आपके ऐप में उपयोगकर्ता सत्रों की गणना करता है। अधिक जानने के लिए, स्वचालित रूप से एकत्रित ईवेंट देखें।

BigQuery डेटा निर्यात

फायरबेस कंसोल में ए/बी परीक्षण प्रयोग डेटा देखने के अलावा, आप BigQuery में प्रयोग डेटा का निरीक्षण और विश्लेषण कर सकते हैं। जबकि A/B परीक्षण में एक अलग BigQuery तालिका नहीं है, प्रयोग और भिन्न सदस्यताएँ Analytics ईवेंट तालिकाओं के भीतर प्रत्येक Google Analytics ईवेंट पर संग्रहीत की जाती हैं।

जिन उपयोगकर्ता गुणों में प्रयोग की जानकारी होती है userProperty.key like "firebase_exp_%" या userProperty.key = "firebase_exp_01" के रूप में होते हैं, जहां 01 प्रयोग आईडी है, और userProperty.value.string_value में (शून्य-आधारित) सूचकांक होता है प्रयोग प्रकार.

आप प्रयोग डेटा निकालने के लिए इन प्रयोग उपयोगकर्ता गुणों का उपयोग कर सकते हैं। यह आपको अपने प्रयोग के परिणामों को कई अलग-अलग तरीकों से काटने और ए/बी परीक्षण के परिणामों को स्वतंत्र रूप से सत्यापित करने की शक्ति देता है।

आरंभ करने के लिए, इस गाइड में बताए अनुसार निम्नलिखित को पूरा करें:

  1. फायरबेस कंसोल में Google Analytics के लिए BigQuery निर्यात सक्षम करें
  2. BigQuery का उपयोग करके A/B परीक्षण डेटा तक पहुंचें
  3. उदाहरण क्वेरीज़ का अन्वेषण करें

फायरबेस कंसोल में Google Analytics के लिए BigQuery निर्यात सक्षम करें

यदि आप स्पार्क योजना पर हैं, तो आप सैंडबॉक्स सीमाओं के अधीन बिना किसी लागत के BigQuery तक पहुंचने के लिए BigQuery सैंडबॉक्स का उपयोग कर सकते हैं। अधिक जानकारी के लिए मूल्य निर्धारण और BigQuery सैंडबॉक्स देखें।

सबसे पहले, सुनिश्चित करें कि आप अपना Analytics डेटा BigQuery पर निर्यात कर रहे हैं:

  1. इंटीग्रेशन टैब खोलें, जिसे आप फायरबेस कंसोल में > प्रोजेक्ट सेटिंग्स का उपयोग करके एक्सेस कर सकते हैं।
  2. यदि आप पहले से ही अन्य Firebase सेवाओं के साथ BigQuery का उपयोग कर रहे हैं, तो प्रबंधित करें पर क्लिक करें। अन्यथा, लिंक पर क्लिक करें.
  3. Firebase को BigQuery से लिंक करने के बारे में समीक्षा करें, फिर Next पर क्लिक करें।
  4. एकीकरण कॉन्फ़िगर करें अनुभाग में, Google Analytics टॉगल सक्षम करें।
  5. एक क्षेत्र चुनें और निर्यात सेटिंग चुनें.

  6. BigQuery से लिंक पर क्लिक करें.

आपने डेटा निर्यात करने का तरीका कैसे चुना है, इसके आधार पर तालिकाएं उपलब्ध होने में एक दिन तक का समय लग सकता है। प्रोजेक्ट डेटा को BigQuery पर निर्यात करने के बारे में अधिक जानकारी के लिए, प्रोजेक्ट डेटा को BigQuery पर निर्यात करें देखें।

BigQuery में A/B परीक्षण डेटा तक पहुंचें

किसी विशिष्ट प्रयोग के लिए डेटा की क्वेरी करने से पहले, आप अपनी क्वेरी में उपयोग करने के लिए निम्नलिखित में से कुछ या सभी प्राप्त करना चाहेंगे:

  • प्रयोग आईडी: आप इसे प्रयोग अवलोकन पृष्ठ के यूआरएल से प्राप्त कर सकते हैं। उदाहरण के लिए, यदि आपका URL https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 जैसा दिखता है, तो प्रयोग आईडी 25 है।
  • Google Analytics प्रॉपर्टी आईडी : यह आपकी 9 अंकों वाली Google Analytics प्रॉपर्टी आईडी है। आप इसे Google Analytics में पा सकते हैं; यह BigQuery में भी दिखाई देता है जब आप अपनी Google Analytics ईवेंट तालिका ( project_name.analytics_000000000.events ) का नाम दिखाने के लिए अपने प्रोजेक्ट नाम का विस्तार करते हैं।
  • प्रयोग तिथि: तेज़ और अधिक कुशल क्वेरी बनाने के लिए, अपनी क्वेरी को Google Analytics दैनिक ईवेंट तालिका विभाजन तक सीमित करना अच्छा अभ्यास है जिसमें आपका प्रयोग डेटा शामिल होता है - YYYYMMDD प्रत्यय से पहचानी जाने वाली तालिकाएँ। इसलिए, यदि आपका प्रयोग 2 फरवरी, 2024 से 2 मई, 2024 तक चला, तो आप _TABLE_SUFFIX between '20240202' AND '20240502' निर्दिष्ट करेंगे। उदाहरण के लिए, किसी विशिष्ट प्रयोग के मान चुनें देखें.
  • ईवेंट नाम: आमतौर पर, ये आपके लक्ष्य मेट्रिक्स से मेल खाते हैं जिन्हें आपने प्रयोग में कॉन्फ़िगर किया था। उदाहरण के लिए, in_app_purchase इवेंट, ad_impression , या user_retention इवेंट।

जानकारी एकत्र करने के बाद आपको अपनी क्वेरी तैयार करनी होगी:

  1. Google क्लाउड कंसोल में BigQuery खोलें।
  2. अपना प्रोजेक्ट चुनें, फिर SQL क्वेरी बनाएँ चुनें।
  3. अपनी क्वेरी जोड़ें. चलाने के लिए उदाहरण क्वेरीज़ के लिए, उदाहरण क्वेरीज़ एक्सप्लोर करें देखें।
  4. चलाएँ पर क्लिक करें.

फायरबेस कंसोल की स्वत: जेनरेट की गई क्वेरी का उपयोग करके क्वेरी प्रयोग डेटा

यदि आप ब्लेज़ योजना का उपयोग कर रहे हैं, तो प्रयोग अवलोकन पृष्ठ एक नमूना क्वेरी प्रदान करता है जो प्रयोग का नाम, प्रकार, ईवेंट नाम और आपके द्वारा देखे जा रहे प्रयोग के लिए ईवेंट की संख्या लौटाता है।

स्वतः-जनित क्वेरी प्राप्त करने और चलाने के लिए:

  1. फायरबेस कंसोल से, ए/बी परीक्षण खोलें और प्रयोग अवलोकन खोलने के लिए उस ए/बी परीक्षण प्रयोग का चयन करें जिसे आप क्वेरी करना चाहते हैं।
  2. विकल्प मेनू से, BigQuery एकीकरण के नीचे, क्वेरी प्रयोग डेटा का चयन करें। यह आपके प्रोजेक्ट को Google क्लाउड कंसोल कंसोल के भीतर BigQuery में खोलता है और एक बुनियादी क्वेरी प्रदान करता है जिसका उपयोग आप अपने प्रयोग डेटा को क्वेरी करने के लिए कर सकते हैं।

निम्नलिखित उदाहरण "विंटर वेलकम एक्सपेरिमेंट" नाम के तीन प्रकारों (बेसलाइन सहित) वाले एक प्रयोग के लिए जेनरेट की गई क्वेरी दिखाता है। यह प्रत्येक ईवेंट के लिए सक्रिय प्रयोग का नाम, प्रकार का नाम, अद्वितीय ईवेंट और ईवेंट गणना लौटाता है। ध्यान दें कि क्वेरी बिल्डर तालिका नाम में आपके प्रोजेक्ट का नाम निर्दिष्ट नहीं करता है, क्योंकि यह सीधे आपके प्रोजेक्ट में खुलता है।

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

अतिरिक्त क्वेरी उदाहरणों के लिए, उदाहरण क्वेरीज़ एक्सप्लोर करने के लिए आगे बढ़ें।

उदाहरण क्वेरीज़ का अन्वेषण करें

निम्नलिखित अनुभाग उन क्वेरी के उदाहरण प्रदान करते हैं जिनका उपयोग आप Google Analytics ईवेंट तालिकाओं से ए/बी परीक्षण प्रयोग डेटा निकालने के लिए कर सकते हैं।

सभी प्रयोगों से खरीद और प्रयोग मानक विचलन मान निकालें

आप फायरबेस ए/बी परीक्षण परिणामों को स्वतंत्र रूप से सत्यापित करने के लिए प्रयोग परिणाम डेटा का उपयोग कर सकते हैं। निम्नलिखित BigQuery SQL कथन प्रयोग वेरिएंट, प्रत्येक वेरिएंट में अद्वितीय उपयोगकर्ताओं की संख्या, और in_app_purchase और ecommerce_purchase ईवेंट से कुल राजस्व, और _TABLE_SUFFIX प्रारंभ और समाप्ति तिथियों के रूप में निर्दिष्ट समय सीमा के भीतर सभी प्रयोगों के लिए मानक विचलन का योग निकालता है। आप इस क्वेरी से प्राप्त डेटा का उपयोग एक-पूंछ वाले टी-परीक्षणों के लिए सांख्यिकीय महत्व जनरेटर के साथ यह सत्यापित करने के लिए कर सकते हैं कि फायरबेस द्वारा प्रदान किए गए परिणाम आपके अपने विश्लेषण से मेल खाते हैं।

ए/बी परीक्षण अनुमान की गणना कैसे करता है, इसके बारे में अधिक जानकारी के लिए, परीक्षण परिणामों की व्याख्या करें देखें।

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

किसी विशिष्ट प्रयोग के मान चुनें

निम्नलिखित उदाहरण क्वेरी दर्शाती है कि BigQuery में किसी विशिष्ट प्रयोग के लिए डेटा कैसे प्राप्त किया जाए। यह नमूना क्वेरी प्रयोग नाम, भिन्न नाम (बेसलाइन सहित), ईवेंट नाम और ईवेंट गणना लौटाती है।

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName