इस गाइड में, Remote Config के रोलआउट से जुड़े अहम सिद्धांतों के बारे में जानकारी दी गई है. इससे आपको ये काम करने में मदद मिलेगी:
- यह समझना कि रोलआउट ग्रुप की सदस्यता कैसे काम करती है.
- यह जानना कि रोलआउट का इस्तेमाल कब करना है और A/B टेस्ट का इस्तेमाल कब करना है.
- रोलआउट के नतीजों की व्याख्या करना.
रोलआउट ग्रुप की सदस्यता को समझना
नया रोलआउट बनाते समय, अगर आपने कोई प्रतिशत असाइन किया है, तो Firebase आपकी ऑडियंस के बराबर साइज़ वाले हिस्से को कंट्रोल ग्रुप में रखता है. इससे, चालू की गई सुविधा की परफ़ॉर्मेंस की तुलना करने पर सटीक नतीजे मिलते हैं. इसके नतीजे के तौर पर, आपको ये ग्रुप मिलते हैं.
- चालू: इस ग्रुप में असाइन किए गए उपयोगकर्ता के डिवाइसों को, आपके रोलआउट में कॉन्फ़िगर की गई वैल्यू मिलती है.
- कंट्रोल: इस ग्रुप में असाइन किए गए उपयोगकर्ता के डिवाइसों को, रोलआउट की वैल्यू के बजाय, Remote Configसे मिलने वाली वैल्यू मिलती है.
- असाइन नहीं किया गया: इस ग्रुप में मौजूद उपयोगकर्ता के डिवाइसों को, Remote Config से मिलने वाली वैल्यू मिलती है. हालांकि, रोलआउट की तुलना के नतीजों में इनका इस्तेमाल नहीं किया जाता.Remote Config
इसका मतलब है कि अगर आपने 2% उपयोगकर्ताओं के लिए रोलआउट किया है, तो उन्हें 'चालू' ग्रुप में जोड़ा जाता है. साथ ही, आपके 2% उपयोगकर्ताओं को तुलना के लिए इस्तेमाल किए जाने वाले कंट्रोल ग्रुप में जोड़ा जाता है. आपके 96% उपयोगकर्ता, 'असाइन नहीं किया गया' ग्रुप में बने रहते हैं.
रोलआउट ग्रुप असाइनमेंट, रोलआउट के सभी चरणों में एक जैसा होता है. इसका मतलब है कि, एक ही रोलआउट में, अगर आपने प्रतिशत को घटाकर 0% कर दिया है, तो सभी उपयोगकर्ता, टेंप्लेट में तय की गई पैरामीटर वैल्यू पाने लगेंगे.Remote Config अगर आपने बाद में रोलआउट प्रतिशत बढ़ाने का फ़ैसला लिया, तो पहले 'चालू' या कंट्रोल ग्रुप में शामिल उपयोगकर्ता, उस ग्रुप में वापस आ जाएंगे जिसमें उन्हें मूल रूप से असाइन किया गया था. साथ ही, उन्हें उन ग्रुप के हिसाब से वैल्यू मिलेंगी.
जब आपने यह पुष्टि कर ली हो कि आपकी रिलीज़ सफल है और आपने टारगेट किए गए 100% उपयोगकर्ताओं के लिए पूरी तरह से लॉन्च करने का फ़ैसला लिया है, तो Firebase अब कंट्रोल ग्रुप का इस्तेमाल नहीं करता. साथ ही, टारगेट किए गए सभी उपयोगकर्ताओं और डिवाइसों को रोलआउट की वैल्यू मिलती है.
रोलआउट का इस्तेमाल कब करना चाहिए और A/B टेस्ट का इस्तेमाल कब करना चाहिए?
Remote Config रोलआउट और A/B Testing अलग-अलग इस्तेमाल के मामलों के लिए सही हैं. इनका इस्तेमाल एक-दूसरे के साथ किया जा सकता है.
रोलआउट धीरे-धीरे रिलीज़ किए जाते हैं. इनका इस्तेमाल अक्सर, चुनिंदा उपयोगकर्ताओं के ग्रुप के लिए नई सुविधा रिलीज़ करने के लिए किया जाता है. ऐसा हो सकता है कि आपको किसी खास देश के उपयोगकर्ताओं या अपने ऐप्लिकेशन के किसी खास वर्शन का इस्तेमाल करने वाले उपयोगकर्ताओं को टारगेट करना हो. जोखिम को कम करने, नई सुविधाओं को असल दुनिया के माहौल में टेस्ट करने, और उन पर बेहतर कंट्रोल रखने के लिए, रोलआउट का इस्तेमाल करें. इससे आपको यह देखने में मदद मिलेगी कि सुविधा की परफ़ॉर्मेंस कैसी है. इसके अलावा, यह भी मॉनिटर किया जा सकता है कि नई सुविधा के लोड बढ़ने पर, आपकी बैकएंड सेवाओं की परफ़ॉर्मेंस कैसी है. साथ ही, यह भी अनुमान लगाया जा सकता है कि सुविधा का इस्तेमाल कितना होगा. इससे, यह पक्का किया जा सकता है कि बड़े पैमाने पर ऑडियंस के लिए रिलीज़ करने से पहले, आपका बदलाव स्केलेबल है या नहीं.
रोलआउट, उन स्थितियों के लिए बेहतरीन टूल हैं जिनमें नई सुविधाएं लागू की जा रही हैं. इन सुविधाओं से, फ़ंक्शनैलिटी में काफ़ी बदलाव हो सकता है. साथ ही, इन बदलावों से अप्रत्याशित नतीजे मिल सकते हैं या आपकी बैकएंड इन्फ़्रास्ट्रक्चर, सेवाओं या बाहरी एपीआई पर असर पड़ सकता है.
A/B Testing की मदद से, किसी सुविधा या ऐप्लिकेशन एलिमेंट के कई वर्शन दिखाए जा सकते हैं. उदाहरण के लिए, यूज़र इंटरफ़ेस (यूआई) के लुक ऐंड फ़ील को अपडेट करना, विज्ञापन की कॉपी में बदलाव करना, गेम के लेवल की मुश्किल को अपडेट करना. इसके बाद, अपने उपयोगकर्ताओं को अलग-अलग वैरिएंट दिखाए जा सकते हैं. इससे यह जानने में मदद मिलती है कि चुनी गई मेट्रिक (जैसे, उपयोगकर्ता की दिलचस्पी, विज्ञापन पर क्लिक, और रेवेन्यू) के आधार पर, कौनसे विकल्प से बेहतर नतीजे मिलते हैं.
डेटा के आधार पर फ़ैसले लेने, ऑप्टिमाइज़ेशन, और अपने उपयोगकर्ताओं की प्राथमिकताओं को समझने के लिए, A/B Testing का इस्तेमाल करें. यह उन स्थितियों के लिए सही है जिनमें आपके पास तुलना करने लायक कई विकल्प और बहुत खास लक्ष्य हों. उदाहरण के लिए, A/B Testing उन बदलावों के लिए सही है जिनमें आपको किसी खास मेट्रिक को बेहतर बनाने के लिए अपने ऐप्लिकेशन में बदलाव करना हो. जैसे, यह टेस्ट करना कि किस बैनर विज्ञापन प्लेसमेंट से ज़्यादा क्लिक मिलते हैं.
Remote Config के रोलआउट और A/B Testing को एक साथ इस्तेमाल करना भी एक अच्छा तरीका है. इसके लिए, सबसे पहले, चुनिंदा उपयोगकर्ताओं के लिए A/B टेस्ट बनाएं. इससे, यह तय किया जा सकेगा कि आपके मुख्य मेट्रिक के लिए कौनसे वैरिएंट से बेहतर नतीजे मिलते हैं. इसके बाद, A/B Testing से बेहतर नतीजे देने वाले वैरिएंट का पता चलने पर, उस वैरिएंट के साथ रोलआउट बनाएं. रोलआउट की स्थिरता और मुख्य मेट्रिक को मॉनिटर करें. साथ ही, धीरे-धीरे उन उपयोगकर्ताओं की संख्या बढ़ाएं जिनके लिए रोलआउट किया गया है. जब आपको इसकी परफ़ॉर्मेंस पर भरोसा हो जाए, तब इसे 100% उपयोगकर्ताओं के लिए रोल आउट करें.
रोलआउट के नतीजों को समझना
रोलआउट पब्लिश करने के बाद, आपको इसके नतीजे तुरंत दिखने लगेंगे.
Firebase console में, नतीजों को कई तरीकों से देखा जा सकता है:
DevOps और जुड़ाव > रिमोट कॉन्फ़िगरेशन > पैरामीटर पेज पर जाएं. इसके बाद, रोल आउट के लिए कॉन्फ़िगर किए गए पैरामीटर को बड़ा करें. फिर, रोल आउट के नीचे, नतीजे देखें पर क्लिक करें.
DevOps और जुड़ाव > रिमोट कॉन्फ़िगरेशन > रोल आउट पेज पर जाएं. इसके बाद, रोल आउट के नाम पर क्लिक करें.
DevOps और यूज़र ऐक्टिविटी > Remote Config > नतीजे पेज पर सबसे ऊपर मौजूद ऐप्लिकेशन सिलेक्टर की मदद से, खास ऐप्लिकेशन के लिए व्यू चुने जा सकते हैं. नतीजों को कई सेक्शन में बांटा गया है:
- खास जानकारी सेक्शन. इसमें कॉन्फ़िगर किया गया रोलआउट प्रतिशत दिखता है. साथ ही, रोलआउट को रोल बैक करने या उसमें बदलाव करने की सुविधा मिलती है. इसे बड़ा करने पर, आपको अपने रोलआउट की कॉन्फ़िगरेशन की जानकारी और बदलाव का इतिहास दिखता है.
उपयोगकर्ता सेक्शन. इसमें, उन यूनीक ऐप्लिकेशन इंस्टॉलेशन की संख्या दिखती है जिन्होंने इन ग्रुप में रोलआउट टेंप्लेट फ़ेच किया है:
- चालू: उन ऐप्लिकेशन इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त के मुताबिक हैं और जिन्होंने रोलआउट की वैल्यू फ़ेच की है.
- कंट्रोल: उन ऐप्लिकेशन इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त के मुताबिक हैं और जिन्होंने बिना बदलाव वाली वैल्यू फ़ेच की है.
- टारगेट: उन इंस्टेंस की अनुमानित कुल संख्या जो आपके रोलआउट में सेट की गई शर्त के मुताबिक हैं. इन्हें रोलआउट या बिना बदलाव वाली वैल्यू मिलनी चाहिए.
ज़्यादा जानने के लिए, रोलआउट ग्रुप की सदस्यता को समझना लेख पढ़ें.
Crashlytics और Analytics सेक्शन. इनमें, 'चालू' और कंट्रोल ग्रुप के लिए तुलना का डेटा दिखता है. इकट्ठा किए गए डेटा को पिछले 24 घंटे, पिछली बार पब्लिश करने के बाद से या पिछले 7 दिनों के हिसाब से फ़िल्टर किया जा सकता है. डिफ़ॉल्ट रूप से, पिछले 24 घंटे का डेटा दिखता है.
Crashlytics रोलआउट के नतीजे
रोलआउट के दौरान हुए क्रैश, नॉन-फ़ेटल, और एएनआर की कुल संख्या देखी जा सकती है. नतीजों की हर कैटगरी में, बार ग्राफ़ दिखता है. इसमें, रोलआउट की शर्त को पूरा करने वाले चालू और कंट्रोल ग्रुप के उपयोगकर्ताओं की कुल संख्या की तुलना की जाती है.
- क्रैश: इसमें, 'चालू' और कंट्रोल ग्रुप के लिए क्रैश की संख्या और प्रतिशत दिखता है. साथ ही, उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिन्होंने क्रैश का सामना किया.
- नुकसान न पहुंचाने वाली गड़बड़ी: इसमें, नुकसान न पहुंचाने वाली गड़बड़ियों की संख्या और प्रतिशत दिखता है. साथ ही, उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिन्होंने नुकसान न पहुंचाने वाली गड़बड़ियों का सामना किया.
- एएनआर (सिर्फ़ Android ऐप्लिकेशन के लिए): इसमें, "ऐप्लिकेशन काम नहीं कर रहा है" इवेंट की संख्या और प्रतिशत दिखता है. साथ ही, उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिन्होंने एक या उससे ज़्यादा एएनआर इवेंट का सामना किया.
क्रैश के बारे में ज़्यादा जानकारी पाने के लिए, View more in Crashlytics पर क्लिक करें. इससे, Crashlytics पेज खुलता है. इस पर, उस रोलआउट के लिए फ़िल्टर चालू होता है जिसके नतीजे देखे जा रहे थे. Crashlytics पेज पर, रोलआउट के नतीजों में उन सभी उपयोगकर्ताओं को शामिल किया जाता है जिन्होंने कभी भी ग्रुप के वैरिएंट को चालू या कंटrol देखा हो. आपके पास कंट्रोल ग्रुप के क्रैश, 'चालू' ग्रुप के क्रैश या दोनों को देखने का विकल्प होता है.
Google Analytics रोलआउट के लिए नतीजे
Google Analytics रोलआउट के नतीजे वाले सेक्शन में, Analytics मेट्रिक की तुलना उन सभी उपयोगकर्ताओं के लिए की जाती है जिन्होंने 'चालू' या कंट्रोल ग्रुप के वैरिएंट को कभी भी देखा हो. इसमें, ग्राफ़ व्यू में पूरी जानकारी दिखती है. इसमें तीन मेट्रिक दी जाती हैं:
- कुल रेवेन्यू: इसमें, रेवेन्यू की कुल रकम दिखती है. इसमें, विज्ञापन से मिलने वाला रेवेन्यू और खरीदारी से मिलने वाला रेवेन्यू शामिल है. यह रकम, यूएसडी में दिखती है. नतीजों को फ़िल्टर करके, सिर्फ़ विज्ञापन से मिलने वाला रेवेन्यू या खरीदारी से मिलने वाला रेवेन्यू दिखाया जा सकता है.
- कुल कन्वर्ज़न: इसमें, सभी कन्वर्ज़न इवेंट के योग की कुल संख्या दिखती है. नतीजों को उस कन्वर्ज़न के हिसाब से फ़िल्टर किया जा सकता है जिसे हाइलाइट करना है.
- उपयोगकर्ताओं के जुड़ाव का कुल समय: इसमें, उपयोगकर्ताओं ने रोलआउट के किसी एक वैरिएंट के साथ जितना समय बिताया है वह दिखता है. उपयोगकर्ताओं के जुड़ाव का कुल समय, घंटे:मिनट:सेकंड फ़ॉर्मैट में दिखता है. उदाहरण के लिए, 01:31:28. ग्राफ़ में, Crashlytics सेक्शन के ऊपर चुनी गई समयावधि का डेटा दिखता है.