Google Cloud सीएलआई की मदद से टेस्ट करना

इस गाइड में, gcloud सीएलआई का इस्तेमाल करके, XCTest या Game Loop टेस्ट चलाने का तरीका बताया गया है.

पहला चरण: अपने स्थानीय Google Cloud SDK एनवायरमेंट को कॉन्फ़िगर करना

1. Google Cloud SDK डाउनलोड करना

इसमें gcloud सीएलआई टूल शामिल है.

2. पक्का करें कि आपका इंस्टॉलेशन अप-टू-डेट हो और इसमें gcloud firebase कमांड शामिल हो:

         gcloud components update

3. अपने Google खाते का इस्तेमाल करके, gcloud सीएलआई में लॉग इन करें:

         gcloud auth login

4. gcloud में अपना Firebase प्रोजेक्ट सेट करें. यहां PROJECT_ID आपके Firebase प्रोजेक्ट का आईडी है:

        gcloud config set project PROJECT_ID

दूसरा चरण: अपना टेस्ट चलाना

XCTest चलाना

1. अपना टेस्ट चलाने के लिए, यहां दिया गया कमांड चलाएं. इसके बाद, अपने टेस्ट की .zip फ़ाइल अपलोड करें. अगर आपने अब तक अपने ऐप्लिकेशन को पैकेज नहीं किया है, तो XCTest को पैकेज करना लेख पढ़ें:

   cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
   zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun

2. अपने टेस्ट के डाइमेंशन चुनें.

   Test Lab की मदद से, iOS के अलग-अलग वर्शन, डिवाइसों, स्क्रीन ओरिएंटेशन, और इलाकों के हिसाब से टेस्ट चलाए जा सकते हैं. इन कॉन्फ़िगरेशन को टेस्ट के डाइमेंशन कहा जाता है. हर डाइमेंशन के विकल्प देखने के लिए (उदाहरण के लिए, डिवाइस के iOS वर्शन के लिए Xcode के काम करने वाले वर्शन), यहां दिए गए कमांड में dimension की जगह models, versions या locales डालें:

   gcloud firebase test ios dimension list

   स्क्रीन ओरिएंटेशन थोड़ा आसान है, क्योंकि इसके सिर्फ़ दो विकल्प हैं: portrait और landscape.

   टेस्ट के डाइमेंशन की सूची देखें और कुछ ऐसे कॉम्बिनेशन चुनें जिन पर आपको अपना टेस्ट चलाना है. हर दिन ज़्यादा से ज़्यादा कितने कॉम्बिनेशन चलाए जा सकते हैं, यह जानने के लिए, कीमत प्लान पर जाएं.

   ध्यान दें: हर डाइमेंशन की list टेबल में एक TAGS कॉलम शामिल होता है. इसमें एक लाइन को default के तौर पर टैग किया जाता है. अगर किसी डाइमेंशन के लिए कोई वैल्यू नहीं दी जाती है, तो Test Lab उस लाइन को डाइमेंशन के तौर पर इस्तेमाल करता है.

3. टेस्ट के डाइमेंशन का सेट चुनने के बाद, Test Lab run अपने टेस्ट चलाने के लिए firebase test ios run कमांड का इस्तेमाल किया जा सकता है. टेस्ट के डाइमेंशन के हर उस कॉम्बिनेशन के लिए, जिस पर आपको टेस्ट करना है, एक अलग --device फ़्लैग शामिल करें:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
    etc...

   ऐसा हो सकता है कि आपका टेस्ट, Xcode के उस वर्शन के साथ काम न करे जिससे टेस्ट बनाया गया था. इसकी वजह यह है कि Test Lab, Xcode के डिफ़ॉल्ट वर्शन का इस्तेमाल करता है. अपने टेस्ट के लिए, Xcode का काम करने वाला वर्शन तय करने के लिए, --xcode-version फ़्लैग का इस्तेमाल करें:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --xcode-version=15

   अपने टेस्ट मैट्रिक्स की पहचान करने और उन्हें ढूंढने में आपकी मदद करने के लिए, यहां दिए गए उदाहरण में --client-details matrixLabel="<label>" फ़्लैग का इस्तेमाल करके, अपने टेस्ट मैट्रिक्स को लेबल किया जा सकता है. हालांकि, यह ज़रूरी नहीं है: Firebase कंसोल में,

   gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --client-details matrixLabel="my label"

   ध्यान दें: --client-details फ़्लैग, gcloud सीएलआई के सिर्फ़ अल्फ़ा और बीटा ट्रैक में काम करता है.

खास एनटाइटलमेंट की जांच करना

ऐसे एनटाइटलमेंट की जांच करने के लिए जिनके लिए साफ़ तौर पर ऐप्लिकेशन आईडी की ज़रूरत होती है, फ़्लैग सेट किया जा सकता है.--test-special-entitlements Test Lab खास एनटाइटलमेंट के लिए ऐप्लिकेशन को नए बंडल-आइडेंटिफ़ायर के साथ फिर से साइन करता है. इसलिए, पक्का करें कि आपकी zip फ़ाइल में ऐसे कोई रिसॉर्स न हों जिनमें ऐप्लिकेशन के बंडल आइडेंटिफ़ायर के सीधे रेफ़रंस हों.

काम करने वाले एनटाइटलमेंट:

1. पुश नोटिफ़िकेशन apns-environment
2. निजी वीपीएन com.apple.developer.networking.vpn.api

ध्यान दें: यह फ़्लैग, हर प्रोजेक्ट के लिए सिर्फ़ एक ऐसे ऐप्लिकेशन को फिर से साइन करने की सुविधा देता है जिसके लिए खास एनटाइटलमेंट की ज़रूरत होती है. उपयोगकर्ताओं की दिलचस्पी के आधार पर, आने वाले समय में ऐसे और एनटाइटलमेंट चालू किए जा सकते हैं.

पुश नोटिफ़िकेशन

पुश नोटिफ़िकेशन के अनुरोधों को अनुमति देने के लिए, उपयोगकर्ता निजी साइनिंग कुंजी के साथ-साथ कुंजी आईडी - C7FD9DJAA8 और टीम आईडी - 9CKCGNNUQN का इस्तेमाल करके, JSON वेब टोकन बना सकते हैं. जनरेट किए गए टोकन एक घंटे के लिए मान्य होंगे . इन्हें हर 60 मिनट में रीफ़्रेश करना होगा. APNs से टोकन-आधारित कनेक्शन बनाना के बारे में ज़्यादा जानें.

ऐप्लिकेशन ग्रुप

ऐप्लिकेशन ग्रुप आईडी, दुनिया भर में यूनीक होते हैं. इसका मतलब है कि उपयोगकर्ता के ऐप्लिकेशन को फिर से साइन करते समय, हम सिर्फ़ उस ऐप्लिकेशन ग्रुप आईडी का इस्तेमाल कर सकते हैं जो Test Lab डेवलपर खाते से जुड़ा है. अगर आपका टेस्ट, ऐप्लिकेशन ग्रुप पर निर्भर करता है , तो वह काम नहीं करेगा.

Game Loop टेस्ट चलाना

gcloud beta firebase test ios run कमांड चलाएं और रन को कॉन्फ़िगर करने के लिए, इन फ़्लैग का इस्तेमाल करें:

Game Loop टेस्ट के लिए फ़्लैग
--type	ज़रूरी है: इससे यह तय होता है कि आपको iOS का कौनसे टाइप का टेस्ट चलाना है. टेस्ट के टाइप के तौर पर, टेस्ट टाइप xctest (डिफ़ॉल्ट) या game-loop डाला जा सकता है.
--app	ज़रूरी है: आपके ऐप्लिकेशन की IPA फ़ाइल का ऐब्सलूट पाथ (GCS या फ़ाइल सिस्टम). यह फ़्लैग, Game Loop टेस्ट चलाते समय ही मान्य होता है.
--scenario-numbers	आपके ऐप्लिकेशन में वे लूप (जिन्हें सिनेरियो भी कहा जाता है) जिन्हें आपको चलाना है. इसमें एक लूप, लूप की सूची या लूप की रेंज डाली जा सकती है. डिफ़ॉल्ट लूप 1 होता है. उदाहरण के लिए, --scenario-numbers=1-3,5 से लूप 1, 2, 3, और 5 चलते हैं.
--device-model	वह फ़िज़िकल डिवाइस जिस पर आपको अपना टेस्ट चलाना है. यह जानने के लिए कि आपके पास कौनसे उपलब्ध डिवाइस हैं, यहां क्लिक करें.
--timeout	वह ज़्यादा से ज़्यादा समय जिसके लिए आपको अपना टेस्ट चलाना है. इसमें सेकंड में समय दिखाने के लिए कोई पूर्णांक डाला जा सकता है. इसके अलावा, समय की बड़ी यूनिट के तौर पर समय दिखाने के लिए, कोई पूर्णांक और इन्यूमरेशन डाला जा सकता है. उदाहरण के लिए: --timeout=200 से आपका टेस्ट 200 सेकंड तक चलने के बाद, बंद हो जाता है. --timeout=1h से आपका टेस्ट एक घंटे तक चलने के बाद, बंद हो जाता है.

उदाहरण के लिए, यहां दिया गया कमांड, iPhone 8 Plus पर Game Loop टेस्ट चलाता है. इसमें लूप 1, 4, 6, 7, और 8 चलते हैं:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

gcloud सीएलआई के बारे में ज़्यादा जानने के लिए, रेफ़रंस दस्तावेज़ देखें.

तीसरा चरण (ज़रूरी नहीं): आने वाले समय में बनाए जाने वाले टेस्ट को ऑटोमेट करना

Test Lab के साथ gcloud कमांड की स्क्रिप्ट बनाना Test Lab

मोबाइल ऐप्लिकेशन की टेस्टिंग के लिए, उन कमांड को ऑटोमेट करने के लिए शेल स्क्रिप्ट या बैच फ़ाइलें इस्तेमाल की जा सकती हैं जिन्हें आम तौर पर gcloud कमांड लाइन का इस्तेमाल करके चलाया जाता है. यहां दी गई बैश स्क्रिप्ट, दो मिनट के टाइम आउट के साथ XCTest चलाती है. साथ ही, यह रिपोर्ट करती है कि टेस्ट रन पूरा हुआ या नहीं:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

स्क्रिप्ट के एक्ज़िट कोड

Test Lab कई एक्ज़िट कोड उपलब्ध कराता है. इनका इस्तेमाल करके, स्क्रिप्ट या बैच फ़ाइलों का इस्तेमाल करके चलाए जाने वाले टेस्ट के नतीजों को बेहतर तरीके से समझा जा सकता है .

एक्ज़िट कोड	नोट
0	टेस्ट के सभी एक्ज़ीक्यूशन पास हो गए.
1	कोई सामान्य गड़बड़ी हुई. इसकी ये वजहें हो सकती हैं: कोई ऐसी फ़ाइल का नाम जो मौजूद नहीं है या एचटीटीपी/नेटवर्क से जुड़ी कोई गड़बड़ी.
2	टेस्टिंग बंद हो गई, क्योंकि इसमें ऐसे कमांड या आर्ग्युमेंट दिए गए थे जिनके बारे में जानकारी नहीं है.
10	टेस्ट के एक्ज़ीक्यूशन में, एक या एक से ज़्यादा टेस्ट केस (टेस्ट की गई क्लास या क्लास के तरीके) पास नहीं हुए.
15	Firebase Test Lab यह तय नहीं कर सका कि टेस्ट मैट्रिक्स पास हुआ या फ़ेल, क्योंकि इसमें कोई गड़बड़ी हुई.
19	उपयोगकर्ता ने टेस्ट मैट्रिक्स रद्द कर दिया.
20	टेस्ट के इन्फ़्रास्ट्रक्चर में कोई गड़बड़ी हुई.

चौथा चरण: टेस्ट के नतीजों की जांच करना

टेस्ट शुरू होने पर, आपको टेस्ट के नतीजे पेज का लिंक मिलता है. टेस्ट को पूरा होने में कुछ मिनट लग सकते हैं. यह इस बात पर निर्भर करता है कि आपने कितने अलग-अलग कॉन्फ़िगरेशन चुने हैं और अपने टेस्ट के लिए टेस्ट का टाइम आउट कितने समय के लिए सेट किया है. टेस्ट पूरे होने के बाद, टेस्ट के नतीजे देखे जा सकते हैं. टेस्ट के नतीजों को समझने के तरीके के बारे में ज़्यादा जानने के लिए, नतीजों का विश्लेषण करना लेख पढ़ें.Firebase Test Lab

अगला चरण

आम तौर पर उपलब्ध या बीटा में उपलब्ध टेस्टिंग के विकल्पों के बारे में जानने के लिए, Google Cloud SDK का दस्तावेज़ पढ़ें.