ऐप्लिकेशन टेस्टिंग एजेंट, Firebase में Gemini की मदद से टेस्ट केस जनरेट करने, मैनेज करने, और उसे लागू करने वाला एजेंट है. टेस्ट के लक्ष्यों को सामान्य भाषा में तय किया जाता है. इसके बाद, एजेंट एआई का इस्तेमाल करके आपके ऐप्लिकेशन को समझता है और उसमें नेविगेट करता है. साथ ही, उपयोगकर्ता के इंटरैक्शन को सिम्युलेट करता है और टेस्ट के ज़्यादा जानकारी वाले नतीजे दिखाता है.
ऐप्लिकेशन टेस्टिंग एजेंट आपके डेटा का इस्तेमाल कैसे करता है
ऐप्लिकेशन टेस्टिंग एजेंट, Firebase में Gemini की ओर से उपलब्ध कराया जाता है. यह एजेंट, इन ही नियमों के तहत काम करता है. Firebase में Gemini आपके डेटा का इस्तेमाल कैसे करता है, इस बारे में ज़्यादा जानने के लिए Firebase में Gemini आपके डेटा का इस्तेमाल कैसे करता है लेख पढ़ें.
शुरू करने से पहले
अगर आपने अब तक ऐसा नहीं किया है, तो अपने ऐप्लिकेशन को Firebase के साथ रजिस्टर करें.
अगर Firebase के किसी अन्य प्रॉडक्ट का इस्तेमाल नहीं किया जा रहा है, तो आपको सिर्फ़ एक प्रोजेक्ट बनाना होगा और अपना ऐप्लिकेशन रजिस्टर करना होगा. आपको अपने ऐप्लिकेशन में कोई SDK टूल नहीं जोड़ना होगा. हालांकि, अगर आने वाले समय में आपको अन्य प्रॉडक्ट इस्तेमाल करने हैं, तो Firebase कंसोल का इस्तेमाल करके Firebase जोड़ें में दिए गए सभी चरणों को पूरा करना न भूलें.
जब आप टेस्टर को अपने ऐप्लिकेशन का रिलीज़ से पहले का वर्शन डिस्ट्रिब्यूट करने के लिए तैयार हों, तो अपनी सामान्य प्रोसेस का इस्तेमाल करके अपना APK या AAB बनाएं. इसके बाद, उसे Firebase कंसोल में ऐप्लिकेशन डिस्ट्रिब्यूशन पर अपलोड करें. आपको APK को डीबग पासकोड या ऐप्लिकेशन साइनिंग पासकोड से साइन करना होगा.
टेस्ट केस बनाना
एआई की मदद से टेस्ट चलाने के लिए, ऐप्लिकेशन टेस्टिंग एजेंट आपके ऐप्लिकेशन के लिए, नैचुरल लैंग्वेज टेस्ट केस का इस्तेमाल करता है.
हर टेस्ट केस को चरणों में बांटा जाता है. इन्हें क्रम से लागू किया जाएगा. चरणों की मदद से, अपने टेस्ट केस को अलग-अलग चरणों में बांटा जा सकता है. हर चरण के लिए, टेस्ट पास होने की अलग-अलग शर्तें तय की जा सकती हैं. एजेंट किसी भी चरण के दौरान कई कार्रवाइयां कर सकता है.
टेस्ट केस बनाने के लिए, Firebase कंसोल का App Distribution पेज खोलें और यह तरीका अपनाएं:
- टेस्ट केस टैब में, नया टेस्ट केस पर क्लिक करें. अगर आपको अपना टेस्ट केस नहीं बनाना है, तो दिए गए उदाहरण के तौर पर दिए गए टेस्ट केस में बदलाव किया जा सकता है या उसका इस्तेमाल किया जा सकता है.
- टेस्ट केस जोड़ें डायलॉग में, टेस्ट केस को कोई नाम दें. इसका इस्तेमाल टेस्ट की पहचान करने के लिए किया जाता है, लेकिन एजेंट इसे अनदेखा कर देता है.
- एक और चरण जोड़ें बटन पर क्लिक करके, अपने टेस्ट को कई चरणों में बांटें.
- हर चरण के लिए एक लक्ष्य तय करें. इससे यह पता चलता है कि उस चरण के दौरान, ऐप्लिकेशन टेस्टिंग एजेंट को क्या करना चाहिए.
- (ज़रूरी नहीं) ज़्यादा जानकारी देने के लिए, सलाह जोड़ें. इससे ऐप्लिकेशन टेस्टिंग एजेंट को उस चरण के दौरान, आपके ऐप्लिकेशन को समझने और उसमें नेविगेट करने में मदद मिलेगी.
- (ज़रूरी नहीं) सफलता की शर्तें जोड़ें, ताकि ऐप्लिकेशन टेस्टिंग एजेंट यह तय कर सके कि चरण पूरा हो गया है या नहीं.
- जांच को पसंद के मुताबिक बनाने के बाद, सेव करें पर क्लिक करें.
टेस्ट केस का उदाहरण
ऐप्लिकेशन टेस्टिंग एजेंट का इस्तेमाल करके, टेस्ट केस बनाने का उदाहरण यहां दिया गया है:
| होम पेज की जांच करना | |
|---|---|
जांच का टाइटल |
होम पेज लोड होने में लगने वाला समय |
लक्ष्य |
होम पेज लोड करना |
संकेत |
शामिल होने की प्रक्रिया के दौरान दिखने वाली सभी स्क्रीन को पार करें. सभी पॉप-अप खारिज करें. साइन इन न करें. |
सक्सेस क्राइटेरिया |
ऐप्लिकेशन का मुख्य होम पेज स्क्रीन पर दिख रहा हो, सभी इमेज लोड हो गई हों, और कोई गड़बड़ी न दिख रही हो. |
टेस्ट चलाना
ऐप्लिकेशन टेस्टिंग एजेंट की मदद से, Console में एआई (AI) के निर्देशों पर चलने वाले टेस्ट चलाए जा सकते हैं. इसके लिए, रिलीज़ या टेस्ट केस पेज पर जाकर, टेस्ट चलाएं बटन पर क्लिक करें. इससे, ऐप्लिकेशन टेस्टिंग एजेंट को पसंद के मुताबिक बनाने की स्क्रीन खुलती है. यहां एजेंट के लिए, एक या उससे ज़्यादा मौजूदा टेस्ट केस चुने जा सकते हैं. आपके पास यह चुनने का विकल्प भी होता है कि आपको किन डिवाइसों पर जांच करनी है. साथ ही, यह भी चुना जा सकता है कि लॉगिन क्रेडेंशियल देने हैं या नहीं.
टेस्ट का टाइप बदलकर, रैंडम क्रॉल टेस्ट भी चलाया जा सकता है. रैंडम क्रॉल टेस्ट, ऑटोमेटेड टेस्टर की सुविधा का इस्तेमाल करते हैं.
रिलीज़ पेज पर, किसी रिलीज़ के ऐप्लिकेशन टेस्टिंग एजेंट टैब में जाकर, अपने टेस्ट के नतीजे देखे जा सकते हैं. जानकारी देखें बटन से, जांच के नतीजों का डायलॉग बॉक्स खुलेगा. इसमें आपको ऐप्लिकेशन से जुड़ी समस्याएं, स्क्रीनशॉट, और जांच के दौरान Gemini की कार्रवाइयां दिखेंगी.
अपने बिल्ड की अपने-आप जांच करना
अपने नए बिल्ड पर ऐप्लिकेशन टेस्टिंग एजेंट की जांच अपने-आप चलाने के लिए, उदाहरण के लिए, CI/CD पाइपलाइन से, App Distribution के Gradle या fastlane प्लग इन या Firebase CLI का इस्तेमाल करके, अपने बिल्ड को एजेंट को डिस्ट्रिब्यूट किया जा सकता है.
Firebase CLI की मदद से, अपने बिल्ड की अपने-आप जांच करना
ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा का इस्तेमाल करने के लिए, आपको कम से कम एक टेस्ट डिवाइस और एक टेस्ट केस आईडी की जानकारी देनी होगी. टेस्ट केस आईडी, Firebase कंसोल के टेस्ट केस पेज पर देखे और डाउनलोड किए जा सकते हैं. Firebase CLI का इस्तेमाल शुरू करने और डिस्ट्रिब्यूशन को कॉन्फ़िगर करने के अलग-अलग तरीकों के बारे में ज़्यादा जानने के लिए, Firebase CLI का इस्तेमाल करके टेस्टर को Android ऐप्लिकेशन डिस्ट्रिब्यूट करना लेख पढ़ें.
अपना ऐप्लिकेशन अपलोड करने के लिए appdistribution:distribute कमांड चलाएं. साथ ही, ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा के लिए, डिस्ट्रिब्यूशन को कॉन्फ़िगर करने के लिए इन पैरामीटर का इस्तेमाल करें:
| appdistribution:distribute options | |
|---|---|
--test-devices या
--test-devices-file
|
वे टेस्ट डिवाइस जिन पर आपको ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा के लिए बिल्ड उपलब्ध कराने हैं. टेस्ट डिवाइसों की सूची, सेमीकोलन से अलग करके दी जा सकती है: --test-devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
इसके अलावा, किसी ऐसी प्लैन टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है जिसमें सेमीकोलन से अलग की गई, टेस्ट डिवाइसों की सूची हो: --test-devices-file: "/path/to/test-devices.txt"
|
--test-username
|
टेस्ट के दौरान, अपने-आप लॉगिन करने के लिए उपयोगकर्ता का नाम. |
--test-password या
--test-password-file
|
टेस्ट के दौरान, अपने-आप लॉगिन करने के लिए इस्तेमाल किया जाने वाला पासवर्ड. इसके अलावा, पासवर्ड वाली किसी साधारण टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है: --test-password-file: "/path/to/test-password.txt"
|
--test-non-blocking
|
टेस्ट को अलग-अलग चलाएं. अपने-आप होने वाली जांच के नतीजे देखने के लिए, Firebase कंसोल पर जाएं. |
--test-case-ids या
--test-case-ids-file
|
एआई की मदद से अपने-आप चलने वाली टेस्ट चलाने के लिए, टेस्ट केस आईडी की कॉमा लगाकर अलग की गई सूची: --test-case-ids: "load-app,play-the-first-level"
इसके अलावा, किसी ऐसी सादे टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है जिसमें टेस्ट केस आईडी की सूची, कॉमा या नई लाइन से अलग की गई हो: --test-case-ids-file: "/path/to/test-case-ids.txt"
|
Gradle की मदद से, अपने बिल्ड की अपने-आप जांच करना
ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा का इस्तेमाल करने के लिए, आपको कम से कम एक टेस्ट डिवाइस और एक टेस्ट केस आईडी की जानकारी देनी होगी. टेस्ट केस आईडी, Firebase कंसोल के टेस्ट केस पेज पर देखे और डाउनलोड किए जा सकते हैं. Gradle का इस्तेमाल शुरू करने और डिस्ट्रिब्यूशन को कॉन्फ़िगर करने के अलग-अलग तरीकों के बारे में ज़्यादा जानने के लिए, Gradle का इस्तेमाल करके, टेस्टर को Android ऐप्लिकेशन डिस्ट्रिब्यूट करना लेख पढ़ें.
कम से कम एक firebaseAppDistribution सेक्शन जोड़कर, App Distribution को कॉन्फ़िगर किया जा सकता है. साथ ही, ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा के लिए डिस्ट्रिब्यूशन को कॉन्फ़िगर करने के लिए, इन पैरामीटर का इस्तेमाल किया जा सकता है:
| App Distribution पैरामीटर बनाना | |
|---|---|
testDevices या
testDevicesFile
|
वे टेस्ट डिवाइस जिन पर आपको ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा के लिए बिल्ड उपलब्ध कराने हैं. टेस्ट डिवाइसों की जानकारी, सेमीकोलन लगाकर अलग की गई डिवाइस की खास जानकारी के तौर पर दी जा सकती है testDevices="model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
इसके अलावा, किसी ऐसी फ़ाइल का पाथ भी दिया जा सकता है जिसमें सेमीकोलन लगाकर डिवाइस की खास जानकारी दी गई हो: testDevicesFile="/path/to/testDevices.txt"
|
testUsername
|
टेस्ट के दौरान, अपने-आप लॉगिन करने के लिए उपयोगकर्ता का नाम. |
testPassword या
testPasswordFile
|
टेस्ट के दौरान, अपने-आप लॉगिन करने के लिए इस्तेमाल किया जाने वाला पासवर्ड. इसके अलावा, पासवर्ड वाली किसी साधारण टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है: testPasswordFile="/path/to/testPassword.txt" |
testNonBlocking |
टेस्ट को अलग-अलग चलाएं. अपने-आप होने वाले टेस्ट के नतीजे देखने के लिए, FireBase console पर जाएं. |
testCases या
testCasesFile
|
एआई की मदद से अपने-आप चलने वाली टेस्ट चलाने के लिए, टेस्ट केस आईडी की कॉमा लगाकर अलग की गई सूची: testCases: "load-app,play-the-first-level"
इसके अलावा, किसी ऐसी सादे टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है जिसमें टेस्ट केस आईडी की सूची, कॉमा या नई लाइन से अलग की गई हो: testCasesFile: "/path/to/test-case-ids.txt"
|
fastlane की मदद से, अपने बिल्ड की अपने-आप जांच करना
ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा का इस्तेमाल करने के लिए, आपको कम से कम एक टेस्ट डिवाइस और एक टेस्ट केस आईडी की जानकारी देनी होगी. टेस्ट केस आईडी, Firebase कंसोल के टेस्ट केस पेज पर देखे और डाउनलोड किए जा सकते हैं. fastlane का इस्तेमाल शुरू करने और डिस्ट्रिब्यूशन को कॉन्फ़िगर करने के अलग-अलग तरीकों के बारे में ज़्यादा जानने के लिए, fastlane का इस्तेमाल करके, टेस्टर को Android ऐप्लिकेशन उपलब्ध कराना लेख पढ़ें.
./fastlane/Fastfile लेन में, firebase_app_distribution ब्लॉक जोड़ें. ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा के लिए, डिस्ट्रिब्यूशन को कॉन्फ़िगर करने के लिए, इन पैरामीटर का इस्तेमाल करें:
| firebase_app_distribution पैरामीटर | |
|---|---|
test_devices या
test_devices_file
|
वे टेस्ट डिवाइस जिन पर आपको ऐप्लिकेशन टेस्टिंग एजेंट की सुविधा के लिए बिल्ड उपलब्ध कराने हैं. टेस्ट डिवाइसों की सूची, सेमीकोलन से अलग करके दी जा सकती है: test_devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
इसके अलावा, किसी ऐसी प्लैन टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है जिसमें सेमीकोलन से अलग की गई, टेस्ट डिवाइसों की सूची हो: test_devices_file: "/path/to/test-devices.txt"
|
test_username
|
टेस्ट के दौरान, अपने-आप लॉगिन करने के लिए उपयोगकर्ता का नाम. |
test_password या
test_password_file
|
टेस्ट के दौरान, अपने-आप लॉगिन करने के लिए इस्तेमाल किया जाने वाला पासवर्ड. इसके अलावा, पासवर्ड वाली किसी साधारण टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है: test_password_file: "/path/to/test-password.txt"
|
test_non_blocking |
टेस्ट को अलग-अलग चलाएं. अपने-आप होने वाली जांच के नतीजे देखने के लिए, Firebase कंसोल पर जाएं. |
--test_case_ids या
--test_case_ids_file
|
एआई की मदद से अपने-आप चलने वाली टेस्ट चलाने के लिए, टेस्ट केस आईडी की कॉमा लगाकर अलग की गई सूची: --test_case_ids: "load-app,play-the-first-level"
इसके अलावा, किसी ऐसी सादे टेक्स्ट फ़ाइल का पाथ भी दिया जा सकता है जिसमें टेस्ट केस आईडी की सूची, कॉमा या नई लाइन से अलग की गई हो: --test_case_ids_file: "/path/to/test-case-ids.txt"
|
जांच के नतीजों को डीबग करना
अगर जांच के नतीजे आपके हिसाब से नहीं हैं, तो जांच के नतीजों वाले पेज पर जानकारी देखें में जाकर, एजेंट व्यू दिखाएं टॉगल का इस्तेमाल करके, जांच को डीबग किया जा सकता है. एजेंट व्यू में, आपको स्क्रीन पर मौजूद वे एलिमेंट दिखते हैं जिन्हें ऐप्लिकेशन की सुलभता से जुड़ी जानकारी का इस्तेमाल करते समय, ऐप्लिकेशन टेस्टिंग एजेंट ने पहचाना था. अगर आपको यह जानना है कि एजेंट ने क्या देखा, तो ऐक्शन ओवरफ़्लो मेन्यू से वह जानकारी डाउनलोड की जा सकती है.
टेस्ट के नतीजों के पेज पर, आर्टफ़ैक्ट देखें बटन का इस्तेमाल करके भी, टेस्ट के नतीजों के लिए सभी वीडियो, लॉग, और अन्य Cloud आर्टफ़ैक्ट देखे जा सकते हैं.
पहले से मालूम समस्याएं और सीमाएं
ऐप्लिकेशन टेस्टिंग एजेंट की झलक में कुछ सीमाएं हैं:
- ऐप्लिकेशन टेस्टिंग एजेंट, आपके ऐप्लिकेशन की जांच करने के लिए जनरेटिव एआई का इस्तेमाल करता है. इसलिए, एक ही निर्देश का पालन करते हुए भी, वह कभी-कभी अलग-अलग कार्रवाइयां करेगा.
- ऐप्लिकेशन टेस्टिंग एजेंट सिर्फ़ इन कार्रवाइयों के साथ काम करता है: टैप करना, टेक्स्ट डालना, ऊपर स्क्रोल करना, नीचे स्क्रोल करना, और इंतज़ार करना.
- ऐप्लिकेशन टेस्टिंग एजेंट को ऐसे टेस्ट को पूरा करने में समस्या आती है जिनमें सिर्फ़ एक चरण होता है और उसे पूरा करने के लिए कई कार्रवाइयां करनी पड़ती हैं. यह तब बेहतर तरीके से काम करता है, जब मुश्किल कामों को कई छोटे चरणों में बांटा जाता है.
- ऐप्लिकेशन टेस्टिंग एजेंट कभी-कभी स्क्रीन से बाहर के अन्य एलिमेंट को दिखाने के लिए स्क्रोल नहीं करेगा. ऐसा अक्सर तब होता है, जब स्क्रोल करने की सुविधा के बारे में कोई विज़ुअल जानकारी नहीं दी गई हो. इस समस्या को हल करने के लिए, "सलाह" फ़ील्ड का इस्तेमाल करके, स्क्रीन पर स्क्रोल करने का सुझाव दिया जा सकता है.
- ऐप्लिकेशन टेस्टिंग एजेंट को कभी-कभी गिनती करने में समस्या आती है. उदाहरण के लिए, किसी कार्रवाई को तय संख्या में करना.
टेस्टिंग कोटा
झलक देखने के दौरान, एआई की मदद से किए जाने वाले टेस्ट को कोटा के हिसाब से बिना किसी शुल्क के उपलब्ध कराया जाएगा. डिफ़ॉल्ट रूप से, हर महीने 100 टेस्ट किए जा सकते हैं.
ध्यान दें कि अगर एक से ज़्यादा टेस्ट केस चलाए जाते हैं या एक ही टेस्ट केस को कई डिवाइसों पर चलाया जाता है, तो इसे कई टेस्ट के तौर पर गिना जाता है. उदाहरण के लिए, अगर दो डिवाइसों पर दो टेस्ट केस चलाए जाते हैं, तो इसे कुल चार टेस्ट के तौर पर गिना जाएगा.
डिफ़ॉल्ट सीमा से ज़्यादा कोटा पाने के लिए, अपने इस्तेमाल के उदाहरण के साथ Firebase सहायता टीम से संपर्क करें.