इस गाइड में, Remote Config रोलआउट से जुड़े अहम सिद्धांतों के बारे में जानकारी दी गई है, ताकि:
- जानें कि रोलआउट ग्रुप की सदस्यता कैसे काम करती है.
- जानें कि नई सुविधाओं को कुछ लोगों के लिए रिलीज़ कब करना है और A/B टेस्ट कब करना है.
- रोलआउट के नतीजों को समझने का तरीका जानें.
रोलआउट ग्रुप की सदस्यता के बारे में जानकारी
नया रोलआउट बनाते समय और उसे कोई प्रतिशत असाइन करते समय, Firebase आपकी ऑडियंस के बराबर हिस्से को कंट्रोल ग्रुप में रखता है. इससे, चालू की गई सुविधा की परफ़ॉर्मेंस की तुलना करते समय सटीक नतीजे मिलते हैं. इससे ये ग्रुप बनते हैं.
- चालू है: इस ग्रुप को असाइन किए गए उपयोगकर्ता डिवाइसों को, रोलआउट में कॉन्फ़िगर की गई वैल्यू मिलती है.
- कंट्रोल ग्रुप: इस ग्रुप में शामिल उपयोगकर्ताओं के डिवाइसों को, Remote Config से मिलने वाली वैल्यू मिलती है. उन्हें रोलआउट की वैल्यू नहीं मिलती.
- कोई असाइनमेंट नहीं: इस ग्रुप में शामिल उपयोगकर्ता के डिवाइसों को वह वैल्यू मिलती है जो उन्हें Remote Config से मिलती है. हालांकि, रोलआउट की तुलना के नतीजों में इनका इस्तेमाल नहीं किया जाता.
इसका मतलब है कि अगर आपने 2% उपयोगकर्ताओं के लिए रोल आउट किया है, तो उन्हें 'चालू है' ग्रुप में जोड़ दिया जाता है. साथ ही, 2% अन्य उपयोगकर्ताओं को 'कंट्रोल' ग्रुप में जोड़ दिया जाता है. इस ग्रुप का इस्तेमाल तुलना करने के लिए किया जाता है. आपके 96% उपयोगकर्ता, 'असाइन नहीं किया गया' में बने रहते हैं.
इस तरीके से, उन उपयोगकर्ताओं और डिवाइसों की परफ़ॉर्मेंस की तुलना की जा सकती है जिन्हें रोलआउट वैल्यू मिलती है और जिन्हें नहीं मिलती. इससे, रोलआउट के नतीजे पेज पर रोलआउट के सफल या असफल होने का पता लगाया जा सकता है.
लॉन्च के सभी चरणों में, रोलआउट ग्रुप असाइनमेंट एक जैसा होता है. इसका मतलब है कि अगर रोलआउट के दौरान, आपने प्रतिशत को घटाकर 0% कर दिया, तो सभी उपयोगकर्ता Remote Configटेंप्लेट में तय की गई पैरामीटर वैल्यू पर वापस आ जाएंगे. अगर बाद में रोलआउट के प्रतिशत को बढ़ाने का फ़ैसला किया जाता है, तो जिन उपयोगकर्ताओं को पहले चालू या कंट्रोल ग्रुप में शामिल किया गया था वे उसी ग्रुप में वापस आ जाएंगे. साथ ही, उन्हें उन ग्रुप के हिसाब से वैल्यू मिलेंगी.
जब आपको यह पुष्टि हो जाती है कि आपकी रिलीज़ सफल है और आपको टारगेट किए गए 100% उपयोगकर्ताओं के लिए इसे पूरी तरह से लॉन्च करना है, तो Firebase कंट्रोल ग्रुप का इस्तेमाल नहीं करता है. साथ ही, टारगेट किए गए सभी उपयोगकर्ताओं और डिवाइसों को रोलआउट वैल्यू मिलती है.
किसी सुविधा को रोल आउट कब करना चाहिए और A/B टेस्ट कब करना चाहिए?
Remote Config रोलआउट और A/B Testing का इस्तेमाल, अलग-अलग मामलों में किया जा सकता है. साथ ही, इनका इस्तेमाल एक-दूसरे के साथ भी किया जा सकता है.
रोलआउट का मतलब है कि किसी सुविधा को कई चरणों में रिलीज़ करना. इसका इस्तेमाल अक्सर किसी नई सुविधा को चुनिंदा उपयोगकर्ताओं के लिए रिलीज़ करने के लिए किया जाता है. ऐसा हो सकता है कि आपको किसी देश के उपयोगकर्ताओं को टारगेट करना हो या अपने ऐप्लिकेशन के किसी खास वर्शन का इस्तेमाल करना हो. जोखिम को कम करने के लिए, रोलआउट का इस्तेमाल करें. साथ ही, नए फ़ीचर को असल दुनिया के माहौल में आज़माएं. इसके लिए, कड़े कंट्रोल का इस्तेमाल करें, ताकि आपको यह पता चल सके कि फ़ीचर कैसा परफ़ॉर्म कर रही है. यह भी मॉनिटर किया जा सकता है कि नई सुविधा के जुड़ने से, आपकी बैकएंड सेवाओं पर कितना असर पड़ा है. साथ ही, यह भी देखा जा सकता है कि इस सुविधा का इस्तेमाल कितने लोग कर रहे हैं. इससे यह पक्का किया जा सकता है कि बदलाव को ज़्यादा लोगों के लिए रिलीज़ करने से पहले, उसे बढ़ाया जा सकता है.
रोलआउट, उन स्थितियों के लिए बेहतरीन टूल हैं जहां नई सुविधाओं को लागू किया जा रहा हो. इन सुविधाओं से, ऐप्लिकेशन के काम करने के तरीके में काफ़ी बदलाव होता है. साथ ही, इन बदलावों से अप्रत्याशित नतीजे मिल सकते हैं. इसके अलावा, इन बदलावों से आपके बैकएंड इन्फ़्रास्ट्रक्चर, सेवाओं या बाहरी एपीआई पर असर पड़ सकता है.
A/B Testing की मदद से, किसी सुविधा या ऐप्लिकेशन एलिमेंट के कई वर्शन दिखाए जा सकते हैं. उदाहरण के लिए, यूज़र इंटरफ़ेस (यूआई) के लुक और फ़ील को अपडेट करना, विज्ञापन कॉपी में बदलाव करना, गेम के लेवल की मुश्किल को अपडेट करना. इसके बाद, अपने उपयोगकर्ताओं को अलग-अलग वर्शन दिखाएं. इससे आपको यह जानने में मदद मिलेगी कि चुनी गई मेट्रिक (जैसे कि उपयोगकर्ता की दिलचस्पी, विज्ञापन पर क्लिक, और रेवेन्यू) के आधार पर, कौनसे विकल्प से बेहतर नतीजे मिलते हैं.
डेटा के आधार पर फ़ैसले लेने, ऑप्टिमाइज़ेशन करने, और उपयोगकर्ताओं की प्राथमिकताओं को समझने के लिए, A/B Testing का इस्तेमाल करें. यह उन स्थितियों के लिए सबसे सही है जहां आपके पास तुलना करने के लिए कई विकल्प होते हैं और आपके लक्ष्य बहुत खास होते हैं. उदाहरण के लिए, A/B Testing उन बदलावों के लिए सही है जहां आपको किसी खास मेट्रिक को बेहतर बनाने के लिए, अपने ऐप्लिकेशन में बदलाव करना होता है. जैसे, यह टेस्ट करना कि किस बैनर विज्ञापन प्लेसमेंट से ज़्यादा क्लिक मिलते हैं.
Remote Config रोलआउट और A/B Testing को एक साथ इस्तेमाल करना भी एक अच्छा तरीका है. इसके लिए, सबसे पहले सीमित संख्या में उपयोगकर्ताओं के साथ A/B टेस्ट बनाएं. इससे यह पता लगाया जा सकेगा कि आपकी मुख्य मेट्रिक के लिए कौनसा वैरिएंट सबसे अच्छे नतीजे देता है. इसके बाद, जब A/B Testing यह तय कर ले कि लीडर कौन है, तब जीतने वाले वैरिएंट के साथ रोलआउट बनाएं. धीरे-धीरे ज़्यादा उपयोगकर्ताओं के लिए इसे उपलब्ध कराएं. साथ ही, इसकी स्थिरता और मुख्य मेट्रिक पर नज़र रखें. जब आपको लगे कि यह ठीक से काम कर रहा है, तब इसे सभी उपयोगकर्ताओं के लिए उपलब्ध कराएं.
लॉन्च के नतीजों को समझना
रोलआउट पब्लिश करने के बाद, आपको नतीजे तुरंत दिखने लगेंगे.
Firebase कंसोल में, नतीजों को कई तरीकों से देखा जा सकता है:
DevOps और यूज़र ऐक्टिविटी > रिमोट कॉन्फ़िगरेशन > पैरामीटर पेज पर जाएं. इसके बाद, रोलआउट के लिए कॉन्फ़िगर किए गए पैरामीटर को बड़ा करें. इसके बाद, रोलआउट के नीचे मौजूद, नतीजे देखें पर क्लिक करें.
DevOps और जुड़ाव > रिमोट कॉन्फ़िगरेशन > रोलआउट पेज पर जाकर, रोलआउट के नाम पर क्लिक करें.
DevOps और यूज़र ऐक्टिविटी > रिमोट कॉन्फ़िगरेशन > नतीजे पेज पर सबसे ऊपर मौजूद ऐप्लिकेशन चुनने की सुविधा का इस्तेमाल करके, किसी खास ऐप्लिकेशन के लिए व्यू चुने जा सकते हैं. नतीजों को कई सेक्शन में बांटा गया है:
- खास जानकारी सेक्शन. इसमें कॉन्फ़िगर किया गया रोलआउट का प्रतिशत दिखता है. साथ ही, रोलआउट को रोल बैक करने या उसमें बदलाव करने की सुविधा मिलती है. इसे बड़ा करने पर, आपको रोलआउट के कॉन्फ़िगरेशन की जानकारी और बदलाव का इतिहास दिखता है. साथ ही, खास जानकारी भी दिखती है.
उपयोगकर्ता सेक्शन में, ऐप्लिकेशन इंस्टॉल करने वाले उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिन्होंने रोलआउट टेंप्लेट को इन ग्रुप में फ़ेच किया है:
- चालू है: ऐप्लिकेशन के उन इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिन्होंने रोलआउट वैल्यू फ़ेच की है.
- कंट्रोल: ऐप्लिकेशन के ऐसे इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिनमें बदलाव नहीं किया गया है.
- टारगेट: उन इंस्टेंस की अनुमानित कुल संख्या जो रोलआउट में सेट की गई शर्त से मेल खाती है. इन इंस्टेंस को रोलआउट या बिना बदलाव वाली वैल्यू मिलनी चाहिए.
रोलआउट ग्रुप की सदस्यता के बारे में जानें पर जाकर ज़्यादा जानें.
Crashlytics और Analytics सेक्शन. इनमें चालू और कंट्रोल ग्रुप के लिए तुलनात्मक डेटा दिखाया जाता है. इकट्ठा किए गए डेटा को पिछले 24 घंटे, पिछली बार पब्लिश होने के बाद से या पिछले 7 दिनों के हिसाब से फ़िल्टर किया जा सकता है. पिछले 24 घंटे का डेटा दिखाने वाला व्यू डिफ़ॉल्ट व्यू होता है.
Crashlytics रोलआउट के नतीजे
आपको रोलआउट के दौरान हुई क्रैश, नॉन-फ़ैटल, और ANR की कुल संख्या दिख सकती है. हर नतीजे की कैटगरी में एक बार ग्राफ़ दिखता है. इससे, रोल आउट की शर्त पूरी करने वाले चालू और कंट्रोल उपयोगकर्ताओं की कुल संख्या की तुलना की जाती है.
- क्रैश: इससे पता चलता है कि चालू किए गए ग्रुप और कंट्रोल ग्रुप के लिए, क्रैश की संख्या और प्रतिशत कितना है. साथ ही, इससे उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिनके डिवाइस पर क्रैश की समस्या आई.
- नुकसान न पहुंचाने वाली गड़बड़ी: इससे नुकसान न पहुंचाने वाली गड़बड़ियों की संख्या और प्रतिशत के साथ-साथ, उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिन्हें नुकसान न पहुंचाने वाली गड़बड़ियों का सामना करना पड़ा.
- एएनआर (सिर्फ़ Android ऐप्लिकेशन के लिए): इससे "ऐप्लिकेशन काम नहीं कर रहा है" इवेंट की संख्या और प्रतिशत के साथ-साथ उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिन्हें एक या उससे ज़्यादा एएनआर इवेंट का सामना करना पड़ा.
क्रैश के बारे में ज़्यादा जानकारी के लिए, Crashlytics में ज़्यादा देखें पर क्लिक करें. इससे Crashlytics पेज खुलता है. इस पर, उस रोलआउट के लिए फ़िल्टर चालू होता है जिसके नतीजे आपने देखे थे. Crashlytics पेज पर रोलआउट के नतीजों से, उन सभी उपयोगकर्ताओं के बारे में पता चलता है जिन्हें कभी भी संबंधित वैरिएंट, चालू है या कंट्रोल के तौर पर दिखाया गया है. आपके पास कंट्रोल ग्रुप क्रैश, चालू किए गए ग्रुप क्रैश या दोनों को देखने का विकल्प होता है.
Google Analytics रोलआउट के नतीजे
Google Analytics रोलआउट के नतीजों वाले सेक्शन में, उन सभी उपयोगकर्ताओं के लिए Analytics मेट्रिक की तुलना की जाती है जिन्हें कभी भी चालू किए गए ग्रुप या कंट्रोल ग्रुप में शामिल किया गया था. यह तुलना, ग्राफ़ के साथ-साथ ज़्यादा जानकारी वाले व्यू में की जाती है. तीन मेट्रिक दी गई हैं:
- कुल रेवेन्यू: इसमें विज्ञापन से मिलने वाले रेवेन्यू और खरीदारी से मिलने वाले रेवेन्यू के साथ-साथ, कुल रेवेन्यू की जानकारी डॉलर में दिखती है. अपने नतीजों को फ़िल्टर करके, सिर्फ़ विज्ञापन से मिलने वाला रेवेन्यू या खरीदारी से मिलने वाला रेवेन्यू दिखाया जा सकता है.
- कुल कन्वर्ज़न: इससे सभी कन्वर्ज़न इवेंट की कुल संख्या दिखती है. अपने नतीजों को उस कन्वर्ज़न के हिसाब से फ़िल्टर किया जा सकता है जिसे आपको हाइलाइट करना है.
- कुल यूज़र ऐक्टिविटी का समय: इससे पता चलता है कि उपयोगकर्ताओं ने रोलआउट के किसी एक वैरिएंट के साथ कुल कितना समय बिताया. दर्शकों के जुड़ाव का कुल समय, घंटे:मिनट:सेकंड के फ़ॉर्मैट में दिखता है. उदाहरण के लिए, 01:31:28. ग्राफ़ में, Crashlytics सेक्शन के ऊपर चुनी गई समयावधि का डेटा दिखता है.