इस गाइड में, Remote Config रोलआउट से जुड़े अहम सिद्धांतों के बारे में जानकारी दी गई है, ताकि:
- जानें कि रोलआउट ग्रुप की सदस्यता कैसे काम करती है.
- जानें कि रोलआउट का इस्तेमाल कब करना है और A/B टेस्ट का इस्तेमाल कब करना है.
- रोलआउट के नतीजों को समझने का तरीका जानें.
रोलआउट ग्रुप की सदस्यता के बारे में जानकारी
नया रोलआउट बनाते समय और उसे कोई प्रतिशत असाइन करते समय, Firebase आपकी ऑडियंस के बराबर हिस्से को कंट्रोल ग्रुप में रखता है. इससे, चालू की गई सुविधा की परफ़ॉर्मेंस की तुलना करते समय सटीक नतीजे मिलते हैं. इससे ये ग्रुप बनते हैं.
- चालू है: इस ग्रुप को असाइन किए गए उपयोगकर्ता के डिवाइसों को, रोलआउट में कॉन्फ़िगर की गई वैल्यू मिलती है.
- कंट्रोल: इस ग्रुप को असाइन किए गए उपयोगकर्ता डिवाइसों को वह वैल्यू मिलती है जो उन्हें Remote Config से मिलती है, न कि रोलआउट की वैल्यू.
- असाइन नहीं किया गया: इस ग्रुप में मौजूद उपयोगकर्ता के डिवाइसों को वह वैल्यू मिलती है जो उन्हें Remote Config से मिलती है. हालांकि, रोलआउट की तुलना के नतीजों में इनका इस्तेमाल नहीं किया जाता.
इसका मतलब है कि अगर आपने 2% उपयोगकर्ताओं के लिए रोल आउट किया है, तो उन्हें 'चालू है' ग्रुप में जोड़ दिया जाता है. साथ ही, 2% अन्य उपयोगकर्ताओं को 'कंट्रोल' ग्रुप में जोड़ दिया जाता है. इस ग्रुप का इस्तेमाल तुलना करने के लिए किया जाता है. आपके 96% उपयोगकर्ता, 'असाइन नहीं किया गया' ग्रुप में बने रहते हैं.
इस तरीके से, उन उपयोगकर्ताओं और डिवाइसों की परफ़ॉर्मेंस की तुलना की जा सकती है जिन्हें रोलआउट की वैल्यू मिलती है और जिन्हें नहीं मिलती. इससे, रोलआउट के नतीजे पेज पर रोलआउट के सफल या असफल होने का पता लगाया जा सकता है.
लॉन्च के सभी चरणों में, रोलआउट ग्रुप असाइनमेंट एक जैसा होता है. इसका मतलब है कि अगर रोलआउट के दौरान, प्रतिशत को 0% पर सेट किया जाता है, तो सभी उपयोगकर्ता Remote Configटेम्पलेट में तय की गई पैरामीटर वैल्यू पर वापस आ जाएंगे. अगर बाद में रोलआउट के प्रतिशत को बढ़ाने का फ़ैसला किया जाता है, तो जिन उपयोगकर्ताओं को पहले चालू किए गए या कंट्रोल ग्रुप में शामिल किया गया था वे उस ग्रुप में वापस आ जाएंगे जिसमें उन्हें मूल रूप से असाइन किया गया था. साथ ही, उन्हें उन ग्रुप के हिसाब से वैल्यू मिलेंगी.
जब आपको यह पुष्टि हो जाती है कि आपकी रिलीज़ सफल है और आपको टारगेट किए गए 100% उपयोगकर्ताओं के लिए इसे पूरी तरह से लॉन्च करना है, तो Firebase कंट्रोल ग्रुप का इस्तेमाल नहीं करता है. साथ ही, टारगेट किए गए सभी उपयोगकर्ताओं और डिवाइसों को रोलआउट वैल्यू मिलती है.
किसी सुविधा को रोल आउट कब करना चाहिए और A/B टेस्ट कब करना चाहिए?
Remote Config रोलआउट और A/B Testing का इस्तेमाल अलग-अलग मामलों में किया जा सकता है. साथ ही, इनका इस्तेमाल एक-दूसरे के साथ भी किया जा सकता है.
रोलआउट का मतलब है कि किसी सुविधा को कई चरणों में रिलीज़ करना. इसका इस्तेमाल अक्सर किसी नई सुविधा को चुनिंदा उपयोगकर्ताओं के लिए रिलीज़ करने के लिए किया जाता है. ऐसा हो सकता है कि आपको किसी देश के उपयोगकर्ताओं को टारगेट करना हो या ऐप्लिकेशन के किसी खास वर्शन का इस्तेमाल करना हो. जोखिम को कम करने के लिए, रोलआउट का इस्तेमाल करें. इससे नई सुविधाओं को असल दुनिया के माहौल में, कड़े कंट्रोल के साथ टेस्ट किया जा सकता है. इससे आपको यह पता चल सकता है कि सुविधा कैसी परफ़ॉर्म करती है. यह भी मॉनिटर किया जा सकता है कि नई सुविधा के जुड़ने से, आपकी बैकएंड सेवाओं पर कितना असर पड़ा है. साथ ही, यह भी देखा जा सकता है कि इस सुविधा का इस्तेमाल कितने लोग कर रहे हैं. इससे यह पक्का किया जा सकता है कि बदलाव को ज़्यादा लोगों के लिए रिलीज़ करने से पहले, उसे बढ़ाया जा सकता है.
रोलआउट, उन स्थितियों के लिए बेहतरीन टूल हैं जहां नई सुविधाओं को लागू किया जा रहा हो. इन सुविधाओं से, ऐप्लिकेशन के काम करने के तरीके में काफ़ी बदलाव होता है. इसके अलावा, रोलआउट उन बदलावों के लिए भी बेहतरीन टूल हैं जिनसे अप्रत्याशित नतीजे मिल सकते हैं या जिनसे आपके बैकएंड इन्फ़्रास्ट्रक्चर, सेवाओं या बाहरी एपीआई पर असर पड़ सकता है.
A/B Testing की मदद से, किसी सुविधा या ऐप्लिकेशन एलिमेंट के कई वर्शन दिखाए जा सकते हैं. उदाहरण के लिए, यूज़र इंटरफ़ेस (यूआई) के लुक और फ़ील को अपडेट करना, विज्ञापन कॉपी बदलना, और गेम के लेवल की मुश्किल को अपडेट करना. इसके बाद, अपने उपयोगकर्ताओं को अलग-अलग वर्शन दिखाएं. इससे आपको यह जानने में मदद मिलेगी कि चुनी गई मेट्रिक (जैसे कि उपयोगकर्ता की दिलचस्पी, विज्ञापन पर क्लिक, और रेवेन्यू) के आधार पर, कौनसे विकल्प से बेहतर नतीजे मिलते हैं.
डेटा के आधार पर फ़ैसले लेने, ऑप्टिमाइज़ेशन करने, और उपयोगकर्ताओं की प्राथमिकताओं को समझने के लिए, A/B Testing का इस्तेमाल करें. यह उन स्थितियों के लिए सबसे सही है जहां आपके पास तुलना करने के लिए कई विकल्प हैं और आपके लक्ष्य बहुत खास हैं. उदाहरण के लिए, A/B Testing उन बदलावों के लिए सही है जहां आपको किसी खास मेट्रिक को बेहतर बनाने के लिए, अपने ऐप्लिकेशन में बदलाव करना है. जैसे, यह टेस्ट करना कि किस बैनर विज्ञापन प्लेसमेंट से ज़्यादा क्लिक मिलते हैं.
Remote Config रोलआउट और A/B Testing को एक साथ इस्तेमाल करना भी एक अच्छा तरीका है. इसके लिए, सबसे पहले कुछ उपयोगकर्ताओं के साथ A/B टेस्ट करें. इससे आपको यह पता चलेगा कि आपकी मुख्य मेट्रिक के लिए कौनसा वैरिएंट सबसे अच्छे नतीजे देता है. इसके बाद, जब A/B Testing यह तय कर ले कि लीडर कौन है, तब जीतने वाले वैरिएंट के साथ रोलआउट बनाएं. इसकी स्थिरता और मुख्य मेट्रिक पर नज़र रखें. साथ ही, धीरे-धीरे उन उपयोगकर्ताओं की संख्या बढ़ाएं जिन्हें यह सुविधा दिखाई गई है. जब आपको इसकी परफ़ॉर्मेंस पर भरोसा हो जाए, तब इसे सभी उपयोगकर्ताओं के लिए लॉन्च करें.
लॉन्च के नतीजों को समझना
रोलआउट पब्लिश करने के बाद, आपको नतीजे तुरंत दिखने लगेंगे.
नतीजे कई तरीकों से देखे जा सकते हैं:
- पैरामीटर पेज पर जाकर, रोलआउट के लिए कॉन्फ़िगर किए गए पैरामीटर को बड़ा करें. इसके बाद, रोलआउट के नीचे मौजूद नतीजे देखें पर क्लिक करें.
- लॉन्च पेज पर, लॉन्च के नाम पर क्लिक करें.
नतीजे वाले पेज पर सबसे ऊपर मौजूद ऐप्लिकेशन चुनने वाले टूल की मदद से, किसी खास ऐप्लिकेशन के लिए व्यू चुने जा सकते हैं. नतीजों को कई सेक्शन में बांटा गया है:
- खास जानकारी सेक्शन. इसमें कॉन्फ़िगर किया गया रोलआउट का प्रतिशत दिखता है. साथ ही, रोलआउट को पहले जैसा करने या उसमें बदलाव करने की सुविधा मिलती है. इसे बड़ा करने पर, यह रोलआउट के कॉन्फ़िगरेशन की जानकारी और बदलाव का इतिहास दिखाता है.
उपयोगकर्ता सेक्शन में, ऐप्लिकेशन इंस्टॉल करने वाले उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिन्होंने रोलआउट टेंप्लेट को इन ग्रुप में फ़ेच किया है:
- चालू है: ऐप्लिकेशन के उन इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिन्होंने रोलआउट वैल्यू फ़ेच कर ली है.
- कंट्रोल: ऐप्लिकेशन के उन इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिनमें बदलाव नहीं किया गया है.
- टारगेट: उन इंस्टेंस की अनुमानित कुल संख्या जो रोलआउट में सेट की गई शर्त से मेल खाती है. इन इंस्टेंस को रोलआउट या बिना बदलाव वाली वैल्यू मिलनी चाहिए.
रोलआउट ग्रुप की सदस्यता के बारे में जानें पर जाकर ज़्यादा जानें.
Crashlytics और Analytics सेक्शन. इनमें चालू किए गए और कंट्रोल ग्रुप के लिए तुलनात्मक डेटा दिखता है. इकट्ठा किए गए डेटा को पिछले 24 घंटे, पिछली बार पब्लिश होने के बाद से या पिछले सात दिनों के हिसाब से फ़िल्टर किया जा सकता है. पिछले 24 घंटे का डेटा डिफ़ॉल्ट व्यू होता है.
Crashlytics रोलआउट के नतीजे
आपको रोलआउट के दौरान हुई क्रैश, नॉन-फ़ैटल, और ANR की कुल संख्या दिख सकती है. हर नतीजे की कैटगरी में एक बार ग्राफ़ दिखता है. इसमें, रोलआउट की शर्त पूरी करने वाले चालू और कंट्रोल उपयोगकर्ताओं की कुल संख्या की तुलना की जाती है.
- क्रैश: इससे, चालू किए गए और कंट्रोल ग्रुप के लिए, क्रैश की संख्या और प्रतिशत के साथ-साथ उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिनके डिवाइस पर क्रैश की समस्या आई.
- नॉन-फ़ैटल: इससे नॉन-फ़ैटल गड़बड़ियों की संख्या और प्रतिशत के साथ-साथ, उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिन्हें नॉन-फ़ैटल गड़बड़ियों का सामना करना पड़ा.
- एएनआर (सिर्फ़ Android ऐप्लिकेशन के लिए): इससे "ऐप्लिकेशन नहीं चल रहा" इवेंट की संख्या और प्रतिशत के साथ-साथ उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिन्हें एक या उससे ज़्यादा एएनआर इवेंट का सामना करना पड़ा.
क्रैश के बारे में ज़्यादा जानकारी पाने के लिए, Crashlytics में ज़्यादा देखें पर क्लिक करें. इससे Crashlytics पेज खुलता है. इस पर, उस रोलआउट के लिए फ़िल्टर चालू होता है जिसके नतीजों की जांच की जा रही थी. Crashlytics पेज पर रोलआउट के नतीजों से, उन सभी उपयोगकर्ताओं के बारे में पता चलता है जिन्हें कभी भी संबंधित वैरिएंट, चालू है या कंट्रोल के तौर पर दिखाया गया है. आपके पास कंट्रोल ग्रुप क्रैश, चालू किए गए ग्रुप क्रैश या दोनों को देखने का विकल्प होता है.
Google Analytics रोलआउट के नतीजे
Google Analytics रोलआउट के नतीजों वाले सेक्शन में, उन सभी उपयोगकर्ताओं के लिए Analytics मेट्रिक की तुलना की जाती है जिन्हें कभी भी चालू किए गए ग्रुप या कंट्रोल ग्रुप में शामिल किया गया था. यह तुलना, ग्राफ़ व्यू में और ज़्यादा जानकारी के साथ की जाती है. तीन मेट्रिक उपलब्ध कराई जाती हैं:
- कुल रेवेन्यू: इसमें विज्ञापन से मिलने वाले रेवेन्यू और खरीदारी से मिलने वाले रेवेन्यू के साथ-साथ, कुल रेवेन्यू की जानकारी डॉलर में दिखती है. नतीजों को फ़िल्टर करके, सिर्फ़ विज्ञापन से मिलने वाला रेवेन्यू या खरीदारी से मिलने वाला रेवेन्यू दिखाया जा सकता है.
- कुल कन्वर्ज़न: इससे सभी कन्वर्ज़न इवेंट की कुल संख्या दिखती है. आपको जिस कन्वर्ज़न को हाइलाइट करना है उसके हिसाब से, नतीजों को फ़िल्टर किया जा सकता है.
- उपयोगकर्ताओं के जुड़ाव का कुल समय: इससे पता चलता है कि उपयोगकर्ताओं ने रोलआउट के किसी एक वैरिएंट के साथ कुल कितना समय बिताया. दर्शकों के जुड़ाव का कुल समय, घंटे:मिनट:सेकंड के फ़ॉर्मैट में दिखता है. उदाहरण के लिए, 01:31:28. ग्राफ़ में, Crashlytics सेक्शन के ऊपर चुनी गई समयावधि का डेटा दिखता है.