इस गाइड में, Remote Config के रोलआउट से जुड़े अहम सिद्धांतों के बारे में जानकारी दी गई है, ताकि:
- जानें कि रोलआउट ग्रुप की सदस्यता कैसे काम करती है.
- जानें कि किसी सुविधा को रोल आउट कब करना है और A/B टेस्ट कब करना है.
- रोलआउट के नतीजों को समझने का तरीका जानें.
रोलआउट ग्रुप की सदस्यता के बारे में जानकारी
नया रोलआउट बनाते समय और उसे कोई प्रतिशत असाइन करते समय, Firebase आपकी ऑडियंस के बराबर हिस्से को कंट्रोल ग्रुप में रखता है. इससे, चालू की गई सुविधा की परफ़ॉर्मेंस की तुलना करते समय सटीक नतीजे मिलते हैं. इससे ये ग्रुप बनते हैं.
- चालू है: इस ग्रुप को असाइन किए गए उपयोगकर्ता के डिवाइसों को, रोलआउट में कॉन्फ़िगर की गई वैल्यू मिलती है.
- कंट्रोल: इस ग्रुप को असाइन किए गए उपयोगकर्ता डिवाइसों को, Remote Config से मिलने वाली वैल्यू मिलती है. उन्हें रोलआउट की वैल्यू नहीं मिलती.
- कोई असाइनमेंट नहीं: इस ग्रुप में मौजूद उपयोगकर्ता के डिवाइसों को वह वैल्यू मिलती है जो उन्हें Remote Config से मिलती है. हालांकि, रोलआउट की तुलना के नतीजों में इनका इस्तेमाल नहीं किया जाता.
इसका मतलब है कि अगर आपने 2% उपयोगकर्ताओं के लिए सुविधा लॉन्च की है, तो उन्हें 'चालू है' ग्रुप में जोड़ दिया जाता है. साथ ही, 2% अन्य उपयोगकर्ताओं को 'कंट्रोल' ग्रुप में जोड़ दिया जाता है. इस ग्रुप का इस्तेमाल तुलना करने के लिए किया जाता है. आपके 96% उपयोगकर्ता, 'असाइन नहीं किया गया' में बने रहते हैं.
इस तरीके से, उन उपयोगकर्ताओं और डिवाइसों की परफ़ॉर्मेंस की तुलना की जा सकती है जिन्हें रोलआउट की वैल्यू मिलती है और जिन्हें नहीं मिलती. इससे आपको रोलआउट के नतीजे पेज पर, रोलआउट के सफल या असफल होने का पता लगाने में मदद मिलती है.
रोलआउट के सभी चरणों में, रोलआउट ग्रुप असाइनमेंट एक जैसा होता है. इसका मतलब है कि अगर एक ही रोलआउट में, प्रतिशत को 0% पर सेट किया जाता है, तो सभी उपयोगकर्ता Remote Configटेंप्लेट में तय की गई पैरामीटर वैल्यू पर वापस आ जाएंगे. अगर बाद में रोल आउट के प्रतिशत को बढ़ाने का फ़ैसला किया जाता है, तो जिन उपयोगकर्ताओं को पहले चालू किए गए या कंट्रोल ग्रुप में शामिल किया गया था वे उसी ग्रुप में वापस आ जाएंगे. साथ ही, उन्हें उन ग्रुप के हिसाब से वैल्यू मिलेंगी.
जब आपको यह पुष्टि हो जाती है कि आपकी रिलीज़ सफल है और आपको टारगेट किए गए 100% उपयोगकर्ताओं के लिए इसे पूरी तरह से लॉन्च करना है, तो Firebase कंट्रोल ग्रुप का इस्तेमाल नहीं करता है. साथ ही, टारगेट किए गए सभी उपयोगकर्ताओं और डिवाइसों को रोलआउट वैल्यू मिलती है.
किसी सुविधा को रोल आउट कब करना चाहिए और A/B टेस्ट कब करना चाहिए?
Remote Config रोलआउट और A/B Testing का इस्तेमाल, अलग-अलग मामलों में किया जा सकता है. साथ ही, इनका इस्तेमाल एक-दूसरे के साथ भी किया जा सकता है.
रोल आउट का मतलब है कि किसी सुविधा को कई चरणों में रिलीज़ करना. इसका इस्तेमाल अक्सर किसी नई सुविधा को कुछ चुनिंदा उपयोगकर्ताओं के लिए रिलीज़ करने के लिए किया जाता है. ऐसा हो सकता है कि आपको किसी देश के उपयोगकर्ताओं को टारगेट करना हो या अपने ऐप्लिकेशन के किसी खास वर्शन का इस्तेमाल करने वाले उपयोगकर्ताओं को टारगेट करना हो. जोखिम को कम करने के लिए, रोलआउट का इस्तेमाल करें. साथ ही, नए फ़ीचर को असल दुनिया के माहौल में टेस्ट करें. इसके लिए, कड़े कंट्रोल का इस्तेमाल करें, ताकि आपको पता चल सके कि फ़ीचर कैसा परफ़ॉर्म कर रही है. यह भी मॉनिटर किया जा सकता है कि नई सुविधा के जुड़ने से, आपकी बैकएंड सेवाओं पर कितना असर पड़ा है. साथ ही, यह भी देखा जा सकता है कि इस सुविधा का इस्तेमाल कितने लोग कर रहे हैं. इससे यह पक्का किया जा सकता है कि बदलाव को ज़्यादा लोगों के लिए रिलीज़ करने से पहले, उसे बढ़ाया जा सकता है.
रोलआउट, उन स्थितियों के लिए बेहतरीन टूल हैं जहां नई सुविधाओं को लागू किया जा रहा हो. इन सुविधाओं से, ऐप्लिकेशन के काम करने के तरीके में काफ़ी बदलाव होता है. साथ ही, इनसे अप्रत्याशित नतीजे मिल सकते हैं. इसके अलावा, ये आपके बैकएंड इन्फ़्रास्ट्रक्चर, सेवाओं या बाहरी एपीआई पर भी असर डाल सकती हैं.
A/B Testing की मदद से, किसी सुविधा या ऐप्लिकेशन एलिमेंट के कई वर्शन दिखाए जा सकते हैं. उदाहरण के लिए, यूज़र इंटरफ़ेस (यूआई) के लुक और फ़ील को अपडेट करना, विज्ञापन कॉपी बदलना, और गेम के लेवल की मुश्किल को अपडेट करना. इसके बाद, अपने उपयोगकर्ताओं को अलग-अलग वर्शन दिखाएं. इससे आपको यह जानने में मदद मिलेगी कि चुनी गई मेट्रिक (जैसे, उपयोगकर्ता की दिलचस्पी, विज्ञापन पर क्लिक, और रेवेन्यू) के आधार पर, कौनसे विकल्प से बेहतर नतीजे मिलते हैं.
डेटा के आधार पर फ़ैसले लेने, ऑप्टिमाइज़ेशन करने, और अपने उपयोगकर्ताओं की प्राथमिकताओं को समझने के लिए, A/B Testing का इस्तेमाल करें. यह उन स्थितियों के लिए सबसे सही है जहां आपके पास तुलना करने के लिए कई विकल्प होते हैं और आपके लक्ष्य बहुत खास होते हैं. उदाहरण के लिए, A/B Testing उन बदलावों के लिए सही है जहां आपको किसी खास मेट्रिक को बेहतर बनाने के लिए, अपने ऐप्लिकेशन में बदलाव करना है. जैसे, यह टेस्ट करना कि किस बैनर विज्ञापन प्लेसमेंट से ज़्यादा क्लिक मिलते हैं.
Remote Config रोलआउट और A/B Testing को एक साथ इस्तेमाल करना भी एक अच्छा तरीका है. इसके लिए, सबसे पहले उपयोगकर्ताओं के सीमित सेट के साथ A/B टेस्ट बनाएं. इससे यह पता चलेगा कि आपकी मुख्य मेट्रिक के लिए कौनसा वैरिएंट सबसे अच्छे नतीजे देता है. इसके बाद, जब A/B Testing लीडर का पता लगा ले, तब जीतने वाले वैरिएंट के साथ रोलआउट बनाएं. उपयोगकर्ताओं की संख्या धीरे-धीरे बढ़ाते हुए, इसकी परफ़ॉर्मेंस और मुख्य मेट्रिक पर नज़र रखें. जब आपको इसकी परफ़ॉर्मेंस पर भरोसा हो जाए, तब इसे सभी उपयोगकर्ताओं के लिए रोल आउट करें.
रोलआउट के नतीजों को समझना
रोलआउट पब्लिश करने के बाद, आपको नतीजे तुरंत दिखने लगेंगे.
Firebase कंसोल में, नतीजों को कई तरीकों से देखा जा सकता है:
DevOps और यूज़र ऐक्टिविटी > रिमोट कॉन्फ़िगरेशन > पैरामीटर पेज पर जाएं. इसके बाद, रोलआउट के लिए कॉन्फ़िगर किए गए पैरामीटर को बड़ा करें. इसके बाद, रोलआउट के नीचे मौजूद, नतीजे देखें पर क्लिक करें.
DevOps और जुड़ाव > रिमोट कॉन्फ़िगरेशन > रोलआउट पेज पर जाकर, रोलआउट के नाम पर क्लिक करें.
DevOps और यूज़र ऐक्टिविटी > रिमोट कॉन्फ़िगरेशन > नतीजे पेज पर सबसे ऊपर मौजूद ऐप्लिकेशन चुनने वाले टूल की मदद से, चुनिंदा ऐप्लिकेशन के लिए व्यू चुने जा सकते हैं. नतीजों को कई सेक्शन में बांटा गया है:
- खास जानकारी सेक्शन. इसमें कॉन्फ़िगर किया गया रोलआउट का प्रतिशत दिखता है. साथ ही, रोलआउट को पहले जैसा करने या उसमें बदलाव करने की सुविधा मिलती है. इसे बड़ा करने पर, आपको रोलआउट के कॉन्फ़िगरेशन की जानकारी और बदलाव का इतिहास दिखेगा. साथ ही, खास जानकारी भी दिखेगी.
उपयोगकर्ता सेक्शन में, ऐप्लिकेशन इंस्टॉल करने वाले उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिन्होंने रोलआउट टेंप्लेट को इन ग्रुप में फ़ेच किया है:
- चालू है: ऐप्लिकेशन के उन इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिन्होंने रोलआउट वैल्यू फ़ेच की है.
- कंट्रोल: ऐप्लिकेशन के ऐसे इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिनमें बदलाव नहीं किया गया है.
- टारगेट: उन इंस्टेंस की अनुमानित कुल संख्या जो रोलआउट में सेट की गई शर्त से मेल खाती हैं. इन इंस्टेंस को रोलआउट या बिना बदलाव वाली वैल्यू मिलनी चाहिए.
रोलआउट ग्रुप की सदस्यता के बारे में जानकारी पर जाकर ज़्यादा जानें.
Crashlytics और Analytics सेक्शन. इनमें चालू किए गए और कंट्रोल ग्रुप के लिए तुलना का डेटा दिखता है. इकट्ठा किए गए डेटा को पिछले 24 घंटे, पिछली बार पब्लिश किए जाने के बाद से या पिछले सात दिनों के हिसाब से फ़िल्टर किया जा सकता है. पिछले 24 घंटों का डेटा डिफ़ॉल्ट व्यू होता है.
Crashlytics रोलआउट के नतीजे
आपको रोलआउट के दौरान हुई क्रैश, नॉन-फ़ैटल, और एएनआर की कुल संख्या दिख सकती है. हर नतीजे की कैटगरी में एक बार ग्राफ़ दिखता है. इसमें, रोलआउट की शर्त पूरी करने वाले चालू और कंट्रोल उपयोगकर्ताओं की कुल संख्या की तुलना की जाती है.
- क्रैश: इससे, चालू और कंट्रोल ग्रुप के लिए क्रैश की संख्या और प्रतिशत के साथ-साथ, क्रैश का सामना करने वाले यूनीक उपयोगकर्ताओं की संख्या दिखती है.
- नुकसान न पहुंचाने वाली गड़बड़ी: इससे नुकसान न पहुंचाने वाली गड़बड़ियों की संख्या और प्रतिशत का पता चलता है. साथ ही, इससे उन यूनीक उपयोगकर्ताओं की संख्या का भी पता चलता है जिन्हें नुकसान न पहुंचाने वाली गड़बड़ियों का सामना करना पड़ा.
- एएनआर (सिर्फ़ Android ऐप्लिकेशन के लिए): इससे "ऐप्लिकेशन काम नहीं कर रहा है" इवेंट की संख्या और प्रतिशत के साथ-साथ उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिन्हें एक या उससे ज़्यादा एएनआर इवेंट का सामना करना पड़ा.
क्रैश के बारे में ज़्यादा जानकारी के लिए, Crashlytics में ज़्यादा देखें पर क्लिक करें. इससे Crashlytics पेज खुलता है. इस पर, उस रोलआउट के लिए फ़िल्टर चालू होता है जिसके नतीजों की जांच की जा रही थी. Crashlytics पेज पर रोलआउट के नतीजों से, उन सभी उपयोगकर्ताओं के बारे में पता चलता है जिन्हें कभी भी संबंधित वैरिएंट, चालू है या कंट्रोल के तौर पर दिखाया गया है. आपके पास कंट्रोल ग्रुप में हुई क्रैश की घटनाओं, चालू किए गए ग्रुप में हुई क्रैश की घटनाओं या दोनों को देखने का विकल्प होता है.
Google Analytics रोलआउट के नतीजे
Google Analytics रोलआउट के नतीजों वाले सेक्शन में, उन सभी उपयोगकर्ताओं के लिए Analytics मेट्रिक की तुलना की जाती है जिन्हें कभी भी चालू किए गए ग्रुप या कंट्रोल ग्रुप में शामिल किया गया था. यह तुलना, ग्राफ़ व्यू में और ज़्यादा जानकारी के साथ की जाती है. तीन मेट्रिक उपलब्ध कराई जाती हैं:
- कुल रेवेन्यू: इसमें विज्ञापन से मिलने वाले रेवेन्यू और खरीदारी से मिलने वाले रेवेन्यू के साथ-साथ, कुल रेवेन्यू की जानकारी डॉलर में दिखती है. नतीजों को फ़िल्टर करके, सिर्फ़ विज्ञापन से मिलने वाला रेवेन्यू या खरीदारी से मिलने वाला रेवेन्यू दिखाया जा सकता है.
- कुल कन्वर्ज़न: इससे सभी कन्वर्ज़न इवेंट की कुल संख्या दिखती है. आपको जिस कन्वर्ज़न को हाइलाइट करना है उसके हिसाब से, नतीजों को फ़िल्टर किया जा सकता है.
- कुल यूज़र ऐक्टिविटी का समय: इससे पता चलता है कि आपके उपयोगकर्ताओं ने रोल आउट किए गए किसी एक वैरिएंट के साथ कुल कितना समय बिताया. दर्शकों के जुड़ाव के कुल समय को घंटे:मिनट:सेकंड के फ़ॉर्मैट में दिखाया जाता है. उदाहरण के लिए, 01:31:28. ग्राफ़ में, Crashlytics सेक्शन के ऊपर चुनी गई समयावधि का डेटा दिखता है.