टेस्ट लैब की समस्या का हल & अक्सर पूछे जाने वाले सवाल

इस पेज पर, Firebase Test Lab की मदद से टेस्ट चलाने के बारे में अक्सर पूछे जाने वाले सवालों के जवाब दिए गए हैं. साथ ही, समस्या हल करने में मदद करने वाली जानकारी दी गई है. आम तौर पर होने वाली समस्याओं के बारे में भी बताया गया है. अगर आपको अपनी ज़रूरत के मुताबिक जानकारी नहीं मिल रही है या आपको ज़्यादा मदद चाहिए, तो Firebase Slack पर #test-lab चैनल में शामिल हों या Firebase की सहायता टीम से संपर्क करें.

समस्या का हल

मेरे टेस्ट को चलने में इतना समय क्यों लग रहा है?

Test Lab कैटलॉग में ज़्यादा क्षमता वाला डिवाइस चुनने पर, टेस्ट तेज़ी से शुरू हो सकते हैं. अगर किसी डिवाइस की क्षमता कम है, तो टेस्ट को पूरा होने में ज़्यादा समय लग सकता है. अगर टेस्ट की संख्या, चुने गए डिवाइसों की क्षमता से ज़्यादा है, तो टेस्ट पूरा होने में ज़्यादा समय लग सकता है.

किसी भी लेवल के डिवाइस की क्षमता के लेवल पर चल रहे टेस्ट में, इन वजहों से ज़्यादा समय लग सकता है:

• ट्रैफ़िक, जिससे डिवाइस की उपलब्धता और टेस्ट की स्पीड पर असर पड़ता है.
• डिवाइस या इन्फ़्रास्ट्रक्चर में गड़बड़ी, जो कभी भी हो सकती है. Test Lab के लिए, इन्फ़्रास्ट्रक्चर से जुड़ी किसी समस्या की शिकायत की गई है या नहीं, यह देखने के लिए Firebase स्टेटस डैशबोर्ड पर जाएं.

Test Lab में डिवाइस की क्षमता के बारे में ज़्यादा जानने के लिए, Android और iOS के लिए डिवाइस की क्षमता की जानकारी देखें.

मुझे जांच के अधूरे नतीजे क्यों मिल रहे हैं?

जांच के नतीजे साफ़ तौर पर न मिलने की वजह, आम तौर पर जांच के रद्द किए गए रन या इन्फ़्रास्ट्रक्चर से जुड़ी गड़बड़ियां होती हैं.

इंफ़्रास्ट्रक्चर से जुड़ी गड़बड़ियां, Test Lab की अंदरूनी समस्याओं की वजह से होती हैं. जैसे, नेटवर्क की गड़बड़ियां या डिवाइस का अचानक से काम न करना. Test Lab, इंफ़्रास्ट्रक्चर से जुड़ी गड़बड़ियों की वजह से कई बार फ़ेल होने वाले टेस्ट रन को इंटरनल तौर पर बंद कर देता है. ऐसा तब किया जाता है, जब टेस्ट रन के नतीजे से कोई फ़ैसला न लिया जा सके. हालांकि, failFast का इस्तेमाल करके, टेस्ट रन को फिर से शुरू करने की सुविधा को बंद किया जा सकता है.

गड़बड़ी की वजह जानने के लिए, यह तरीका अपनाएं:

1. Firebase स्टेटस डैशबोर्ड में जाकर, जानी-पहचानी समस्याओं के बारे में जानें.

2. Test Lab में टेस्ट को फिर से चलाएं, ताकि यह पुष्टि की जा सके कि गड़बड़ी को फिर से जनरेट किया जा सकता है.

   ध्यान दें: Test Lab, इन्फ़्रास्ट्रक्चर से जुड़ी गड़बड़ियों के लिए आपसे शुल्क नहीं लेता.

3. अगर लागू हो, तो किसी दूसरे डिवाइस या डिवाइस टाइप पर टेस्ट चलाकर देखें.

अगर समस्या बनी रहती है, तो Firebase Slack पर #test-lab चैनल में जाकर, Test Lab टीम से संपर्क करें.

शार्डिंग की वजह से, मेरे टेस्ट ज़्यादा समय तक क्यों चले?

अगर आपने जितने शार्ड तय किए हैं उनकी संख्या, Test Lab में इस्तेमाल के लिए उपलब्ध डिवाइसों की संख्या से ज़्यादा है, तो शार्डिंग की वजह से टेस्ट को पूरा होने में ज़्यादा समय लग सकता है. इस समस्या से बचने के लिए, किसी दूसरे डिवाइस पर स्विच करें. कोई दूसरा डिवाइस चुनने के बारे में ज़्यादा जानने के लिए, डिवाइस की क्षमता.

मेरे टेस्ट को शुरू होने में इतना समय क्यों लग रहा है?

जब टेस्ट का अनुरोध सबमिट किया जाता है, तो किसी डिवाइस पर टेस्ट चलाने की तैयारी के लिए, आपके ऐप्लिकेशन की पुष्टि की जाती है, उस पर फिर से हस्ताक्षर किए जाते हैं वगैरह. आम तौर पर, यह प्रोसेस कुछ ही सेकंड में पूरी हो जाती है. हालांकि, ऐप्लिकेशन के साइज़ जैसी चीज़ों की वजह से इसमें ज़्यादा समय लग सकता है.

ऐप्लिकेशन तैयार होने के बाद, टेस्ट को शेड्यूल किया जाता है. साथ ही, उन्हें तब तक सूची में रखा जाता है, जब तक कि कोई डिवाइस उन्हें चलाने के लिए तैयार न हो जाए. जब तक सभी टेस्ट एक्ज़ीक्यूशन पूरे नहीं हो जाते, तब तक मैट्रिक्स का स्टेटस "मंज़ूरी बाकी है" रहेगा. भले ही, टेस्ट एक्ज़ीक्यूशन सूची में हों या चालू हों.

ध्यान दें: टेस्ट के लिए डिवाइस उपलब्ध होने में लगने वाले समय को, बिलिंग के समय में नहीं गिना जाता.

मेरे टेस्ट को पूरा होने में इतना समय क्यों लग रहा है?

जांच पूरी होने के बाद, जांच के आर्टफ़ैक्ट को डिवाइस से डाउनलोड किया जाता है, प्रोसेस किया जाता है, और Cloud Storage पर अपलोड किया जाता है. इस चरण में लगने वाला समय, आर्टफ़ैक्ट की संख्या और साइज़ पर निर्भर करता है.

Android से जुड़ी समस्या हल करना

ऐप्लिकेशन से डेटा नहीं मिल रहा है और स्क्रीनशॉट नहीं मिल रहे हैं

जांच के आर्टफ़ैक्ट (जैसे कि स्क्रीनशॉट और लॉग फ़ाइलें) Google Cloud Storage में सेव किए जाते हैं. साथ ही, इन्हें सीधे Firebase कंसोल में रेंडर किया जाता है. अगर आपने पिछले 90 दिनों में टेस्ट चलाया है, तो देखें कि आपने प्रोजेक्ट लेवल की भूमिकाएं (प्रोजेक्ट का मालिक, प्रोजेक्ट एडिटर या प्रोजेक्ट व्यूअर) असाइन की हैं या नहीं. कृपया यह भी पक्का करें कि आपके प्रोजेक्ट या संगठन के लिए, Cloud Audit Logging की सुविधा चालू न हो.

अगर टेस्ट को 90 दिन से ज़्यादा समय पहले चलाया गया था, तो हो सकता है कि टेस्ट आर्टफ़ैक्ट अपने-आप मिट गए हों. Test Lab डैशबोर्ड में जांच के नतीजे टैब पर क्लिक करके, नतीजों के बकेट का कॉन्फ़िगरेशन देखा जा सकता है. नतीजों की डिफ़ॉल्ट बकेट को ऑब्जेक्ट को 90 दिनों तक सेव रखने के लिए कॉन्फ़िगर किया गया है.

टेस्ट आर्टफ़ैक्ट को ज़्यादा समय तक सेव रखने के लिए, फ़्लैग --results-bucket के साथ कमांड gcloud firebase test android run चलाएं. साथ ही, रिज़ल्ट बकेट का नाम डालें. ज़्यादा जानकारी के लिए, gcloud firebase test android run रेफ़रंस दस्तावेज़ पर जाएं.

मुझे इंस्ट्रुमेंटेशन टेस्ट केस के अधूरे नतीजे क्यों मिल रहे हैं या नतीजे क्यों नहीं मिल रहे हैं?

इंस्ट्रुमेंटेशन टेस्ट चलाने पर, आपको टेस्ट से जुड़ी गड़बड़ियां दिख सकती हैं. इनसे पता चलता है कि नतीजे अधूरे हैं. इनमें Test run failed to complete. Expected x tests, received y जैसा मैसेज शामिल होता है. इसमें y, x से कम होता है. इस गड़बड़ी का मतलब है कि Test Lab, टेस्ट केस के शुरू या खत्म होने के मार्कर के लिए logcat को पार्स नहीं कर सका. आम तौर पर, ये मार्कर AndroidJUnitRunner जनरेट करता है.

इस समस्या की आम वजहें यहां दी गई हैं:

समस्या का ब्यौरा	समस्या का संभावित समाधान
टाइम आउट होने की वजह से, टेस्ट केस नहीं चला. अगर टेस्ट की कुल अवधि, आपके तय किए गए टाइम आउट से ज़्यादा है या ज़्यादा से ज़्यादा टाइम आउट से ज़्यादा है, तो Test Lab बाकी टेस्ट केस रद्द कर देता है.	मैट्रिक्स के लिए टाइम आउट बढ़ाएं, ताकि यह पक्का किया जा सके कि सभी टेस्ट पूरे हो सकें. अगर आपने पहले से ऐसा नहीं किया है, तो टेस्ट को शार्ड करें, ताकि हर शार्ड, टेस्ट के सबसेट को चलाए और कम समय में पूरा करे. अगर आपने पहले से ही शार्डिंग की सुविधा चालू की हुई है, तो शार्ड की संख्या बढ़ाएं.
टेस्ट केस पूरा नहीं हो सका, क्योंकि यह समय से पहले बंद हो गया या अटक गया. किसी अपवाद या असर्शन गड़बड़ी की वजह से, टेस्ट केस समय से पहले बंद हो सकता है. टेस्ट केस, इनफ़ाइनाइट लूप में फंस सकते हैं या आगे नहीं बढ़ सकते. उदाहरण के लिए, अगर ऐप्लिकेशन सही व्यू नहीं दिखाता है और टेस्ट केस, यूज़र इंटरफ़ेस (यूआई) पर कार्रवाई नहीं कर सकता.	वीडियो और logcat की जांच करें, ताकि पता लगाया जा सके कि टेस्ट कहां रुका.
कस्टम टेस्ट रनर (इसमें AndroidJUnitRunner को एक्सटेंड करना शामिल है) अचानक क्रैश हो गया या उसने logcat में टेस्ट केस के शुरू या खत्म होने के अनचाहे मार्कर लिखे.	अपने टेस्ट रनर कोड की जांच करें.
logcat में बहुत ज़्यादा लॉग लिखे गए थे. इस वजह से, बफ़र भर गया या logcat प्रोसेस क्रैश हो गई.	राइट ऑपरेशन की संख्या को logcat तक कम करें.
जांच के दौरान ऐप्लिकेशन क्रैश हो गया.	अपने ऐप्लिकेशन को डीबग करें.

---

अक्सर पूछे जाने वाले सवाल

Test Lab के लिए, बिना किसी शुल्क के मिलने वाले कोटा क्या हैं? अगर मेरे पास स्टोरेज खत्म हो जाए, तो मुझे क्या करना चाहिए?

Firebase Test Lab, डिवाइसों पर टेस्टिंग करने और क्लाउड एपीआई इस्तेमाल करने के लिए, बिना किसी शुल्क के कोटा उपलब्ध कराता है. ध्यान दें कि टेस्टिंग कोटा, Firebase के स्टैंडर्ड प्राइसिंग प्लान का इस्तेमाल करता है. हालांकि, Cloud API कोटा ऐसा नहीं करता.

• टेस्टिंग कोटा

  जांच करने के कोटे, जांच करने के लिए इस्तेमाल किए गए डिवाइसों की संख्या के हिसाब से तय किए जाते हैं. Firebase Spark प्लान में, उपयोगकर्ताओं को बिना किसी शुल्क के टेस्टिंग का तय कोटा मिलता है. ब्लेज़ प्लान के लिए, अगर समय के साथ Google Cloud का इस्तेमाल बढ़ता है, तो आपका कोटा भी बढ़ सकता है. अगर आपने टेस्टिंग का कोटा पूरा कर लिया है, तो अगले दिन तक इंतज़ार करें. अगर आपके पास Spark प्लान है, तो Blaze प्लान पर अपग्रेड करें. अगर आपने पहले से ही ब्लेज़ प्लान लिया हुआ है, तो कोटा बढ़ाने का अनुरोध किया जा सकता है. ज़्यादा जानकारी के लिए, टेस्टिंग कोटा देखें.

  Google Cloud कंसोल में जाकर, टेस्टिंग कोटा के इस्तेमाल को मॉनिटर किया जा सकता है.

• Cloud Testing API का कोटा

  Cloud Testing API के लिए, कोटा की दो सीमाएं तय की गई हैं: हर प्रोजेक्ट के लिए हर दिन के अनुरोध और हर प्रोजेक्ट के लिए हर 100 सेकंड में किए जाने वाले अनुरोध. Google Cloud कंसोल में जाकर, अपने इस्तेमाल को मॉनिटर किया जा सकता है.

• Cloud Tool Results API का कोटा

  Cloud Tool Results API के लिए, कोटे की दो सीमाएं तय की गई हैं: हर प्रोजेक्ट के लिए हर दिन की क्वेरी और हर प्रोजेक्ट के लिए हर 100 सेकंड की क्वेरी. Google Cloud कंसोल में जाकर, अपने इस्तेमाल को मॉनिटर किया जा सकता है.

  एपीआई की सीमाओं के बारे में ज़्यादा जानने के लिए, Test Lab के लिए Cloud API कोटा देखें. अगर एपीआई कोटा पूरा हो गया है, तो:

  • Google Cloud कंसोल में सीधे तौर पर अपने कोटा में बदलाव करके, ज़्यादा कोटा पाने का अनुरोध सबमिट करें. ध्यान दें कि ज़्यादातर कोटा, डिफ़ॉल्ट रूप से ज़्यादा से ज़्यादा पर सेट होते हैं. इसके अलावा,

  • एपीआई के लिए ज़्यादा कोटा पाने का अनुरोध करने के लिए, Google Cloud कंसोल में जाकर अनुरोध फ़ॉर्म भरें या Firebase की सहायता टीम से संपर्क करें.

मुझे कैसे पता चलेगा कि मेरे बैकएंड पर आने वाला ट्रैफ़िक Test Lab से आ रहा है?

अपने बैकएंड से, यह पता लगाया जा सकता है कि ट्रैफ़िक, Firebase पर होस्ट किए गए टेस्ट डिवाइसों से आ रहा है या नहीं. इसके लिए, सोर्स आईपी पते की जांच हमारी आईपी रेंज से करें.

क्या Test Lab, VPC-SC के साथ काम करता है?

Test Lab, वीपीसी-एससी के साथ काम नहीं करता. यह Test Lab के इंटरनल स्टोरेज और उपयोगकर्ताओं के नतीजों की बकेट के बीच, ऐप्लिकेशन और अन्य टेस्ट आर्टफ़ैक्ट को कॉपी करने से रोकता है.

मैं Test Lab में फ़्लेकी टेस्ट का पता कैसे लगाऊं?

अपने टेस्ट में फ़्लेकी व्यवहार का पता लगाने के लिए, हमारा सुझाव है कि आप --num-flaky-test-attempts विकल्प का इस्तेमाल करें. डिफ़्लेक के लिए फिर से चलाए गए टेस्ट के लिए, सामान्य टेस्ट की तरह ही बिलिंग की जाती है या उन्हें आपके रोज़ के कोटे में गिना जाता है.

निम्नलिखित का ध्यान रखें:

• किसी गड़बड़ी का पता चलने पर, जांच करने की पूरी प्रोसेस फिर से शुरू हो जाती है. सिर्फ़ उन टेस्ट केस को फिर से चलाने की सुविधा उपलब्ध नहीं है जो फ़ेल हो गए हैं.
• डिफ़्लेक रीट्राय रन को एक ही समय पर चलाने के लिए शेड्यूल किया जाता है. हालांकि, इस बात की गारंटी नहीं है कि वे एक साथ चलेंगे. उदाहरण के लिए, जब ट्रैफ़िक उपलब्ध डिवाइसों की संख्या से ज़्यादा हो.

ध्यान दें: इन्फ़्रास्ट्रक्चर से जुड़ी गड़बड़ियां, डिफ़्लेक सुविधा से अलग होती हैं. साथ ही, ये डिफ़्लेक को फिर से चलाने की सुविधा को ट्रिगर नहीं करती हैं.

iOS के लिए अक्सर पूछे जाने वाले सवाल

क्या Test Lab, Appium, Flutter/FlutterDriver, ReactNative/Jest या Cucumber के साथ काम करता है?

इनमें से कुछ आइटम हमारे रोडमैप में शामिल हैं. हालांकि, फ़िलहाल हम टेस्टिंग और ऐप्लिकेशन डेवलपमेंट के लिए इन प्लैटफ़ॉर्म को उपलब्ध कराने की गारंटी नहीं दे सकते.

मुझे डिवाइस की जानकारी कहां मिल सकती है, जैसे कि रिज़ॉल्यूशन वगैरह?

डिवाइस की पूरी जानकारी, एपीआई के ज़रिए उपलब्ध होती है. इसे gcloud क्लाइंट से ऐक्सेस किया जा सकता है. इसके लिए, describe कमांड का इस्तेमाल करें:

gcloud firebase test ios models describe MODEL

क्या iOS टेस्ट के साथ शार्डिंग का इस्तेमाल किया जा सकता है?

iOS के लिए Test Lab में, शार्डिंग की सुविधा नेटिव तौर पर काम नहीं करती. हालांकि, iOS टेस्ट केस को शार्ड करने के लिए, Flank क्लाइंट का इस्तेमाल किया जा सकता है.

ध्यान दें: Flank iOS शार्डिंग का इस्तेमाल करने पर, हर शार्ड के लिए अलग-अलग टेस्ट मैट्रिक्स बनते हैं.

यह .xctestrun फ़ाइल में OnlyTestIdentifiers कुंजी और वैल्यू सेट करके काम करता है. xcodebuild.xctestrun के बारे में ज़्यादा जानकारी के लिए, man पेज देखें.

iOS पर किए गए मेरे टेस्ट के नतीजों में वीडियो क्यों नहीं दिख रहे हैं?

iOS 18 या इसके बाद के वर्शन के लिए, हम नतीजों में वीडियो नहीं दिखा सकते.

Android से जुड़े अक्सर पूछे जाने वाले सवाल

क्या Test Lab पर पहने जाने वाले डिवाइसों का इस्तेमाल किया जा सकता है?

हां! Test Lab पर Google Pixel Watch का इस्तेमाल किया जा सकता है. अब Google Pixel Watch पर, अपने स्टैंडअलोन Wear ऐप्लिकेशन की जांच की जा सकती है. Test Lab डिवाइसों के बारे में ज़्यादा जानने के लिए, उपलब्ध डिवाइसों पर टेस्ट करें देखें.

क्या Test Lab, Google के नए डिवाइसों के साथ काम करता है?

हां! Test Lab, Google Pixel Tablet और Google Pixel Fold पर काम करता है. आपके पास अपने स्टैंडअलोन फ़िज़िकल डिवाइसों पर टेस्ट चलाने का विकल्प होता है. Test Lab डिवाइसों के बारे में ज़्यादा जानने के लिए, उपलब्ध डिवाइसों पर टेस्ट करें देखें.

मैं Test Lab में चल रहे टेस्ट का पता कैसे लगाऊं?

अगर Firebase में अपने ऐप्लिकेशन की जांच की जा रही है या Play Console में प्री-लॉन्च रिपोर्ट के लिए जांच की जा रही है, तो यह पता लगाया जा सकता है कि जांच, Firebase पर होस्ट किए गए डिवाइस पर की जा रही है या नहीं. इसके लिए, अपनी MainActivity फ़ाइल में सिस्टम प्रॉपर्टी firebase.test.lab देखें. इसके बाद, testLabSetting की बूलियन वैल्यू के आधार पर, अन्य स्टेटमेंट को लागू किया जा सकता है. ज़्यादा जानकारी के लिए, टेस्ट के व्यवहार में किए गए बदलाव देखें.

क्या Test Lab, Appium, Flutter/FlutterDriver, ReactNative/Jest या Cucumber के साथ काम करता है?

इनमें से कुछ आइटम हमारे रोडमैप में शामिल हैं. हालांकि, फ़िलहाल हम टेस्टिंग और ऐप्लिकेशन डेवलपमेंट के लिए इन प्लैटफ़ॉर्म को उपलब्ध कराने की गारंटी नहीं दे सकते. हालांकि, अगर आपने अपना ऐप्लिकेशन Espresso के साथ काम करने वाले फ़्रेमवर्क (उदाहरण के लिए, Flutter) का इस्तेमाल करके बनाया है, तो Espresso का इस्तेमाल करके इंस्ट्रुमेंटेशन टेस्ट लिखा जा सकता है. इसके बाद, Test Lab में टेस्ट चलाया जा सकता है.

क्या Test Lab पर, ProGuard या R8 जैसे टूल की मदद से, कोड को छिपाने वाले ऐप्लिकेशन की जांच की जा सकती है?

Test Lab, कोड को छिपाने या उसे दिखाने की सुविधा साफ़ तौर पर नहीं देता. ऐप्लिकेशन के चलने की संभावना है, लेकिन ऐप्लिकेशन का कोई भी छिपाया गया डेटा, जैसे कि स्टैक ट्रेस, लॉग में छिपा हुआ दिखेगा.

क्या Test Lab पर टेस्टिंग के दौरान, फ़ोल्ड किए जा सकने वाले डिवाइस को अलग-अलग फ़ोल्ड किए जा सकने वाले मोड और पॉस्चर में इस्तेमाल किया जा सकता है?

हां! फ़ोल्ड किए जा सकने वाले डिवाइस को फ़ोल्ड किए जा सकने वाले स्टेटस और पॉस्चर में टेस्ट किया जा सकता है.

फ़ोल्ड किए जा सकने वाले डिवाइसों को अलग-अलग तरह से फ़ोल्ड किया जा सकता है. जैसे, FLAT (पूरी तरह से खुला हुआ) या HALF_OPENED (पूरी तरह से खुला हुआ और पूरी तरह से बंद के बीच).

वहीं, पोस्चर में डिवाइस का ओरिएंटेशन और फ़ोल्ड किए जा सकने वाले डिवाइस की स्थिति शामिल होती है. उदाहरण के लिए, टेबलटॉप पॉस्चर, जो हॉरिज़ॉन्टल ओरिएंटेशन में HALF_OPENED स्टेट है या बुक पॉस्चर, जो वर्टिकल ओरिएंटेशन में HALF_OPENED स्टेट है.

अगर इंस्ट्रुमेंटेशन टेस्ट चलाए जा रहे हैं, तो Jetpack WindowManager लाइब्रेरी का इस्तेमाल किया जा सकता है. साथ ही, अलग-अलग स्थितियों और पॉस्चर पर टेस्ट करने के लिए, फ़ोल्ड किए जा सकने वाले डिवाइसों पर अपने ऐप्लिकेशन की जांच करने से जुड़े दस्तावेज़ में दिए गए निर्देशों का पालन किया जा सकता है.

इसके अलावा, उपलब्ध स्टेट डिवाइस के हिसाब से अलग-अलग होते हैं. साथ ही, adb shell command cmd device_state का इस्तेमाल करके, इनसे इंटरैक्ट किया जा सकता है.

• मौजूदा स्थिति की सूची देखने के लिए, adb shell cmd device_state state चलाएं.
• मौजूदा स्थिति को सेट या बदलने के लिए, adb shell cmd device_state state <IDENTIFIER> चलाएं.
• स्टेट को रीसेट करने के लिए, adb shell cmd device_state state reset चलाएं.
• उपलब्ध स्थितियों की जांच करने के लिए, फ़ोल्ड किए जा सकने वाले डिवाइस पर adb shell cmd device_state print-states कमांड चलाएं.

Google Pixel Fold (मॉडल आईडी felix)

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSED', app_accessible=true},
    DeviceState{identifier=1, name='HALF_OPENED', app_accessible=true},
    DeviceState{identifier=2, name='OPENED', app_accessible=true},
    DeviceState{identifier=3, name='REAR_DISPLAY_STATE', app_accessible=true},
]

Samsung Galaxy Z Fold4 (मॉडल आईडी q4q)

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSE', app_accessible=true},
    DeviceState{identifier=1, name='TENT', app_accessible=true},
    DeviceState{identifier=2, name='HALF_FOLDED', app_accessible=true},
    DeviceState{identifier=3, name='OPEN', app_accessible=true},
]

अगर मेरे पास कोई ऐप्लिकेशन नहीं है, तो क्या मैं Test Lab को आज़मा सकता/सकती हूं?

Firebase के अन्य प्रॉडक्ट के उलट, Test Lab का इस्तेमाल करने के लिए, आपको Firebase SDK टूल जोड़ने की ज़रूरत नहीं है. अगर आपके पास पहले से कोई ऐप्लिकेशन नहीं है, तो ऑनलाइन APK डाउनलोड किया जा सकता है. इसके अलावा, AndroidX GitHub रिपॉज़िटरी में मौजूद किसी सैंपल से, ऐप्लिकेशन और टेस्ट APK बनाया जा सकता है. ध्यान दें कि रोबो टेस्ट चलाने के लिए, आपको सिर्फ़ अपने ऐप्लिकेशन की APK फ़ाइल की ज़रूरत होती है. वहीं, इंस्ट्रुमेंटेशन टेस्ट के लिए, सोर्स कोड से बनाए गए ऐप्लिकेशन और टेस्ट APK, दोनों की ज़रूरत होती है. ज़्यादा जानकारी के लिए, इंस्ट्रुमेंटेड टेस्ट के बारे में पढ़ें.

Test Lab की सुविधाओं के बारे में ज़्यादा जानने के लिए, Firebase Test Lab की मदद से Android के लिए टेस्टिंग शुरू करना लेख पढ़ें.

स्क्रीनशॉट-डिफ़ टेस्टिंग के लिए कौनसे डिवाइस सबसे सही हैं?

स्क्रीनशॉट-डिफ़ टेस्टिंग में, टेस्ट के दावे इस आधार पर किए जाते हैं कि टेस्ट के दौरान मिली स्क्रीन इमेज की तुलना, उम्मीद के मुताबिक व्यवहार दिखाने वाली गोल्डन इमेज से की जाती है. कुछ डिवाइसों पर, इस तरह के टेस्ट अन्य डिवाइसों के मुकाबले ज़्यादा संवेदनशील हो सकते हैं. हमारा सुझाव है कि इस तरह के टेस्ट के लिए, Arm (*.arm) एम्युलेटर डिवाइसों को टारगेट करें. Arm एमुलेटर डिवाइस, ऐसी इमेज का इस्तेमाल करते हैं जो Android Studio के ‘जेनरिक’ एमुलेटर से काफ़ी मिलती-जुलती या उनके जैसी होती हैं.

हमारा सुझाव है कि आप ऐसी टेस्ट लाइब्रेरी की जांच करें जो स्क्रीनशॉट टेस्ट को ज़्यादा बेहतर बनाने में मदद कर सकती हैं. इससे, आपको उम्मीद के मुताबिक बदलाव करने में मदद मिलेगी.

क्या Test Lab वर्चुअल डिवाइसों को अपडेट करता है?

हां! वर्चुअल डिवाइसों को तब अपडेट किया जाता है, जब ये बदलाव किए जाते हैं:

1. मौजूदा इमेज में अपडेट
2. पुराने एपीआई लेवल बंद करना
3. नए Android एपीआई लेवल जोड़े गए हैं

मैं कवरेज रिपोर्ट कैसे चालू करूं?

कवरेज रिपोर्ट चालू करने के लिए, environmentVariables फ़ील्ड में coverage=true जोड़ें. अगर Android का जांच करने वाला टूल इस्तेमाल किया जा रहा है, तो आपको कवरेज के नतीजों को सेव करने के लिए एक डायरेक्ट्री देनी होगी:

--environment-variables coverage=true,coverageFilePath=/sdcard/Download/

अगर Orchestrator का इस्तेमाल नहीं किया जा रहा है, तो फ़ाइल पाथ तय किया जा सकता है:

--environment-variables coverage=true,coverageFile=/sdcard/Download/coverage.ec

मुझे डिवाइस की जानकारी कहां मिल सकती है, जैसे कि रिज़ॉल्यूशन, काम करने वाले एबीआई वगैरह?

डिवाइस की पूरी जानकारी, एपीआई के ज़रिए उपलब्ध होती है. इसे gcloud क्लाइंट से ऐक्सेस किया जा सकता है. इसके लिए, describe कमांड का इस्तेमाल करें:

gcloud firebase test android models describe MODEL

मैं फ़ोन के बिना Wear ऐप्लिकेशन में कैसे लॉगिन करूं?

अगर आपके ऐप्लिकेशन पर Google साइन इन की सुविधा काम करती है, तो यह टेस्ट खाते के साथ अपने-आप काम करना चाहिए. इसके अलावा, अगर आपके ऐप्लिकेशन में लॉगिन करने के लिए आम तौर पर फ़ोन की ज़रूरत होती है, तो बिल्ड का ऐसा वैरिएंट बनाया जा सकता है जो लॉगिन को स्किप कर दे. साथ ही, आपके टेस्ट बिल्ड में एम्बेड किए गए टोकन का इस्तेमाल करे या डिस्क पर मौजूद फ़ाइलों से डेटा पढ़े. आम तौर पर, इन फ़ाइलों को --other-files option का इस्तेमाल करके पुश किया जाता है. ज़्यादा जानने के लिए, रोबो टेस्ट की मदद से, कस्टम लॉगिन और टेक्स्ट इनपुट लेख पढ़ें.

---

ज्ञात समस्याएं

साइन-इन करने के लिए कैप्चा

रोबो टेस्ट, साइन-इन करने के लिए क्रेडेंशियल डालने के अलावा, उपयोगकर्ता से अतिरिक्त कार्रवाई की मांग करने वाली साइन-इन स्क्रीन को बायपास नहीं कर सकता. जैसे, कैप्चा पूरा करना.

iOS से जुड़ी आम तौर पर होने वाली समस्याएं

अपने-आप साइन इन होने की सुविधा

iOS+ (बीटा वर्शन) के लिए रोबो टेस्ट में, Google खाते से अपने-आप साइन इन होने की सुविधा काम नहीं करती.

Android से जुड़ी आम तौर पर होने वाली समस्याएं

यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क के लिए सहायता

रोबो टेस्ट, उन ऐप्लिकेशन के साथ सबसे अच्छा काम करता है जो Android यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क के यूज़र इंटरफ़ेस (यूआई) एलिमेंट का इस्तेमाल करते हैं. इनमें View, ViewGroup, और WebView ऑब्जेक्ट शामिल हैं. अगर रोबो टेस्ट का इस्तेमाल, अन्य यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क का इस्तेमाल करने वाले ऐप्लिकेशन की जांच के लिए किया जाता है, तो हो सकता है कि टेस्ट पहली स्क्रीन से आगे बढ़े बिना ही बंद हो जाए. इनमें Unity गेम इंजन का इस्तेमाल करने वाले ऐप्लिकेशन भी शामिल हैं.