इस गाइड में, Remote Config रोलआउट से जुड़े अहम सिद्धांतों के बारे में जानकारी दी गई है, ताकि:
- जानें कि रोलआउट ग्रुप की सदस्यता कैसे काम करती है.
- जानें कि रोलआउट का इस्तेमाल कब करना है और A/B टेस्ट का इस्तेमाल कब करना है.
- रोलआउट के नतीजों को समझने का तरीका जानें.
रोलआउट ग्रुप की सदस्यता के बारे में जानकारी
नया रोलआउट बनाते समय और उसे कोई प्रतिशत असाइन करते समय, Firebase आपकी ऑडियंस के बराबर हिस्से को कंट्रोल ग्रुप में रखता है. इससे, चालू की गई सुविधा की परफ़ॉर्मेंस की तुलना करते समय सटीक नतीजे मिलते हैं. इससे ये ग्रुप बनते हैं.
- चालू है: इस ग्रुप को असाइन किए गए उपयोगकर्ता के डिवाइसों को, रोलआउट में कॉन्फ़िगर की गई वैल्यू मिलती है.
- कंट्रोल: इस ग्रुप को असाइन किए गए उपयोगकर्ता डिवाइसों को, Remote Config से मिलने वाली वैल्यू मिलती है. उन्हें रोलआउट की वैल्यू नहीं मिलती.
- कोई असाइनमेंट नहीं: इस ग्रुप में मौजूद उपयोगकर्ता के डिवाइसों को वह वैल्यू मिलती है जो उन्हें Remote Config से मिलती है. हालांकि, रोलआउट की तुलना के नतीजों में इनका इस्तेमाल नहीं किया जाता.
इसका मतलब है कि अगर आपने 2% उपयोगकर्ताओं के लिए सुविधा लॉन्च की है, तो उन्हें 'चालू है' ग्रुप में जोड़ दिया जाता है. साथ ही, 2% अन्य उपयोगकर्ताओं को कंट्रोल ग्रुप में जोड़ दिया जाता है. इस ग्रुप का इस्तेमाल तुलना करने के लिए किया जाता है. आपके 96% उपयोगकर्ता, 'असाइन नहीं किया गया' में बने रहते हैं.
इस तरीके से, उन उपयोगकर्ताओं और डिवाइसों की परफ़ॉर्मेंस की तुलना की जा सकती है जिन्हें रोलआउट वैल्यू मिलती है और जिन्हें नहीं मिलती. इससे, रोलआउट के नतीजे पेज पर रोलआउट के सफल या असफल होने का पता लगाया जा सकता है.
लॉन्च के सभी चरणों में, रोलआउट ग्रुप असाइनमेंट एक जैसा होता है. इसका मतलब है कि अगर रोलआउट के दौरान, आपने प्रतिशत को घटाकर 0% कर दिया, तो सभी उपयोगकर्ता Remote Config टेंप्लेट में तय की गई पैरामीटर वैल्यू पर वापस आ जाएंगे. अगर बाद में रोलआउट के प्रतिशत को बढ़ाने का फ़ैसला किया जाता है, तो जिन उपयोगकर्ताओं को पहले चालू या कंट्रोल ग्रुप में शामिल किया गया था वे उसी ग्रुप में वापस आ जाएंगे. साथ ही, उन्हें उन ग्रुप के हिसाब से वैल्यू मिलेंगी.
जब आपको यह पुष्टि हो जाती है कि आपकी रिलीज़ सफल है और आपको टारगेट किए गए 100% उपयोगकर्ताओं के लिए इसे पूरी तरह से लॉन्च करना है, तो Firebase कंट्रोल ग्रुप का इस्तेमाल नहीं करता है. साथ ही, टारगेट किए गए सभी उपयोगकर्ताओं और डिवाइसों को रोलआउट वैल्यू मिलती है.
किसी सुविधा को रोल आउट कब करना चाहिए और A/B टेस्ट कब करना चाहिए?
Remote Config और A/B Testing, अलग-अलग इस्तेमाल के लिए सही हैं. इनका इस्तेमाल एक-दूसरे के साथ किया जा सकता है.
रोलआउट का मतलब है कि किसी सुविधा को कई चरणों में रिलीज़ करना. इनका इस्तेमाल अक्सर किसी नई सुविधा को चुनिंदा उपयोगकर्ताओं के लिए रिलीज़ करने के लिए किया जाता है. ऐसा हो सकता है कि आपको किसी देश के उपयोगकर्ताओं को टारगेट करना हो या अपने ऐप्लिकेशन के किसी खास वर्शन का इस्तेमाल करना हो. जोखिम को कम करने के लिए, रोलआउट का इस्तेमाल करें. साथ ही, नए फ़ीचर को असल दुनिया के माहौल में आज़माएं. इसके लिए, कड़े कंट्रोल का इस्तेमाल करें, ताकि आपको यह पता चल सके कि फ़ीचर कैसा परफ़ॉर्म कर रही है. यह भी मॉनिटर किया जा सकता है कि नई सुविधा के जुड़ने से, आपकी बैकएंड सेवाओं पर कितना असर पड़ा है. साथ ही, यह भी देखा जा सकता है कि इस सुविधा का इस्तेमाल कितने लोग कर रहे हैं. इससे यह पक्का किया जा सकता है कि बदलाव को ज़्यादा लोगों के लिए रिलीज़ करने से पहले, उसे बढ़ाया जा सकता है.
रोलआउट, उन स्थितियों के लिए बेहतरीन टूल हैं जहां नई सुविधाओं को लागू किया जा रहा है. इन सुविधाओं से, ऐप्लिकेशन के काम करने के तरीके में काफ़ी बदलाव होता है. साथ ही, इन बदलावों से अप्रत्याशित नतीजे मिल सकते हैं. इसके अलावा, इन बदलावों से आपके बैकएंड इंफ़्रास्ट्रक्चर, सेवाओं या बाहरी एपीआई पर असर पड़ सकता है.
A/B Testing की मदद से, किसी सुविधा या ऐप्लिकेशन एलिमेंट के कई वर्शन दिखाए जा सकते हैं. उदाहरण के लिए, यूज़र इंटरफ़ेस (यूआई) के लुक और फ़ील को अपडेट करना, विज्ञापन कॉपी बदलना, गेम लेवल की कठिनाई को अपडेट करना. इसके बाद, अपने उपयोगकर्ताओं को अलग-अलग वर्शन दिखाएं. इससे आपको यह जानने में मदद मिलेगी कि चुनी गई मेट्रिक (जैसे कि उपयोगकर्ता की दिलचस्पी, विज्ञापन पर क्लिक, और रेवेन्यू) के आधार पर, कौनसे विकल्प से बेहतर नतीजे मिलते हैं.
डेटा के आधार पर फ़ैसले लेने, ऑप्टिमाइज़ेशन करने, और उपयोगकर्ताओं की प्राथमिकताओं को समझने के लिए, A/B Testing का इस्तेमाल करें. यह उन स्थितियों के लिए सबसे सही है जहां आपके पास तुलना करने के लिए कई विकल्प होते हैं और आपके लक्ष्य बहुत खास होते हैं. उदाहरण के लिए, A/B Testing उन बदलावों के लिए सही है जहां आपको किसी खास मेट्रिक को बेहतर बनाने के लिए, अपने ऐप्लिकेशन में बदलाव करना होता है. जैसे, यह टेस्ट करना कि किस बैनर विज्ञापन प्लेसमेंट से ज़्यादा क्लिक मिलते हैं.
Remote Config रोलआउट और A/B Testing को एक साथ इस्तेमाल करना भी एक अच्छा विकल्प है. इसके लिए, सबसे पहले सीमित संख्या में उपयोगकर्ताओं के साथ A/B टेस्ट बनाएं. इससे आपको यह पता चलेगा कि आपकी मुख्य मेट्रिक के लिए कौनसा वैरिएंट सबसे अच्छे नतीजे देता है. इसके बाद, जब A/B Testing यह तय कर ले कि लीडर कौन है, तब जीतने वाले वैरिएंट के साथ रोलआउट बनाएं. धीरे-धीरे उपयोगकर्ताओं की संख्या बढ़ाएं और इसकी स्थिरता और मुख्य मेट्रिक पर नज़र रखें. जब आपको इसकी परफ़ॉर्मेंस पर भरोसा हो जाए, तब इसे 100% उपयोगकर्ताओं के लिए रोल आउट करें.
लॉन्च के नतीजों को समझना
रोलआउट पब्लिश करने के बाद, आपको नतीजे तुरंत दिखने लगेंगे.
नतीजे कई तरीकों से देखे जा सकते हैं:
- पैरामीटर पेज पर जाकर, रोलआउट के लिए कॉन्फ़िगर किए गए पैरामीटर को बड़ा करें. इसके बाद, रोलआउट के नीचे मौजूद नतीजे देखें पर क्लिक करें.
- लॉन्च पेज पर जाकर, लॉन्च के नाम पर क्लिक करें.
नतीजे वाले पेज पर सबसे ऊपर मौजूद ऐप्लिकेशन चुनने वाले टूल की मदद से, किसी खास ऐप्लिकेशन के लिए व्यू चुने जा सकते हैं. नतीजों को कई सेक्शन में बांटा गया है:
- खास जानकारी सेक्शन. इसमें कॉन्फ़िगर किया गया रोलआउट का प्रतिशत दिखता है. साथ ही, रोलआउट को पहले जैसा करने या उसमें बदलाव करने की सुविधा मिलती है. इसे बड़ा करने पर, आपको रोलआउट के कॉन्फ़िगरेशन की जानकारी और बदलाव का इतिहास दिखता है. साथ ही, खास जानकारी भी दिखती है.
उपयोगकर्ता सेक्शन में, ऐप्लिकेशन इंस्टॉल करने वाले उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिन्होंने रोलआउट टेंप्लेट फ़ेच किया है. यह संख्या इन ग्रुप के हिसाब से दिखती है:
- चालू है: ऐप्लिकेशन के उन इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिन्होंने रोलआउट वैल्यू फ़ेच की है.
- कंट्रोल: ऐप्लिकेशन के ऐसे इंस्टेंस की संख्या जो टारगेट रोलआउट की शर्त को पूरा करते हैं और जिन्होंने बिना बदलाव वाली वैल्यू फ़ेच की है.
- टारगेट: उन इंस्टेंस की अनुमानित कुल संख्या जो रोलआउट में सेट की गई शर्त से मेल खाती है. इन्हें रोलआउट या बिना बदलाव वाली वैल्यू मिलनी चाहिए.
रोलआउट ग्रुप की सदस्यता के बारे में जानें पर जाकर ज़्यादा जानें.
Crashlytics और Analytics सेक्शन. इनमें चालू किए गए और कंट्रोल ग्रुप के लिए तुलनात्मक डेटा दिखता है. इकट्ठा किए गए डेटा को पिछले 24 घंटे, पिछली बार पब्लिश होने के बाद से या पिछले 7 दिनों के हिसाब से फ़िल्टर किया जा सकता है. पिछले 24 घंटे का डेटा दिखाने वाला व्यू डिफ़ॉल्ट व्यू होता है.
Crashlytics रोलआउट के नतीजे
आपको रोलआउट के दौरान हुई क्रैश, नॉन-फ़ैटल, और ANR की कुल संख्या दिख सकती है. हर नतीजे की कैटगरी में एक बार ग्राफ़ दिखता है. इसमें, रोल आउट की शर्त पूरी करने वाले चालू और कंट्रोल ग्रुप के उपयोगकर्ताओं की कुल संख्या की तुलना की जाती है.
- क्रैश: इससे, चालू किए गए और कंट्रोल ग्रुप के लिए, क्रैश की संख्या और प्रतिशत के साथ-साथ उन यूनीक उपयोगकर्ताओं की संख्या दिखती है जिनके डिवाइस पर क्रैश की समस्या आई.
- नॉन-फ़ैटल: इससे नॉन-फ़ैटल गड़बड़ियों की संख्या और प्रतिशत के साथ-साथ, उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिन्हें नॉन-फ़ैटल गड़बड़ियों का सामना करना पड़ा.
- एएनआर (सिर्फ़ Android ऐप्लिकेशन के लिए): इससे "ऐप्लिकेशन नहीं चल रहा" इवेंट की संख्या और प्रतिशत के साथ-साथ उन यूनीक उपयोगकर्ताओं की संख्या का पता चलता है जिन्हें एक या उससे ज़्यादा एएनआर इवेंट का सामना करना पड़ा.
क्रैश के बारे में ज़्यादा जानकारी पाने के लिए, Crashlytics में ज़्यादा देखें पर क्लिक करें. इससे Crashlytics पेज खुलता है. इस पर, उस रोलआउट के लिए फ़िल्टर चालू होता है जिसके नतीजों की जांच की जा रही थी. Crashlytics पेज पर रोलआउट के नतीजों से, उन सभी उपयोगकर्ताओं के बारे में पता चलता है जिन्हें कभी भी संबंधित वैरिएंट, चालू है या कंट्रोल के तौर पर दिखाया गया है. आपके पास कंट्रोल ग्रुप में हुई क्रैश की घटनाओं, चालू किए गए ग्रुप में हुई क्रैश की घटनाओं या दोनों को देखने का विकल्प होता है.
Google Analytics रोलआउट के नतीजे
Google Analytics रोलआउट के नतीजों वाले सेक्शन में, उन सभी उपयोगकर्ताओं के लिए Analytics मेट्रिक की तुलना की जाती है जिन्हें कभी भी चालू किए गए या कंट्रोल ग्रुप में शामिल किया गया था. यह तुलना, ग्राफ़ व्यू में और ज़्यादा जानकारी के साथ की जाती है. तीन मेट्रिक उपलब्ध कराई जाती हैं:
- कुल रेवेन्यू: इसमें विज्ञापन से मिलने वाले रेवेन्यू और खरीदारी से मिलने वाले रेवेन्यू के साथ-साथ, कुल रेवेन्यू की जानकारी डॉलर में दिखती है. नतीजों को फ़िल्टर करके, सिर्फ़ विज्ञापन से मिलने वाला रेवेन्यू या खरीदारी से मिलने वाला रेवेन्यू दिखाया जा सकता है.
- कुल कन्वर्ज़न: इससे सभी कन्वर्ज़न इवेंट की कुल संख्या दिखती है. आपको जिस कन्वर्ज़न को हाइलाइट करना है उसके हिसाब से, नतीजों को फ़िल्टर किया जा सकता है.
- उपयोगकर्ताओं के जुड़ाव का कुल समय: इससे पता चलता है कि आपके उपयोगकर्ताओं ने रोलआउट के किसी एक वैरिएंट के साथ कुल कितना समय बिताया. दर्शकों के जुड़ाव का कुल समय, घंटे:मिनट:सेकंड के फ़ॉर्मैट में दिखता है. उदाहरण के लिए, 01:31:28. ग्राफ़ में, Crashlytics सेक्शन के ऊपर चुनी गई समयावधि का डेटा दिखता है.