Agen App Testing adalah agen yang mampu membuat, mengelola, dan menjalankan kasus pengujian dengan dukungan dari Gemini di Firebase. Anda menentukan sasaran pengujian dalam bahasa alami, dan agen ini menggunakan AI untuk memahami dan mengeksplorasi aplikasi Anda, menyimulasikan interaksi pengguna, dan memberikan hasil pengujian yang mendetail.
Cara agen App Testing menggunakan data Anda
Agen App Testing disediakan oleh Gemini di Firebase dan diatur berdasarkan persyaratan yang sama. Lihat Cara Gemini di Firebase menggunakan data Anda untuk mengetahui informasi selengkapnya tentang cara Gemini di Firebase menggunakan data Anda.
Sebelum memulai
Jika belum melakukannya, daftarkan aplikasi Anda ke Firebase.
Jika tidak menggunakan produk Firebase lainnya, Anda hanya perlu membuat project dan mendaftarkan aplikasi. Anda tidak perlu menambahkan SDK apa pun ke aplikasi. Namun, jika Anda memutuskan untuk menggunakan produk tambahan pada masa mendatang, pastikan untuk menyelesaikan semua langkah di Menambahkan Firebase menggunakan Firebase console.
Saat sudah siap untuk mendistribusikan versi pra-rilis aplikasi kepada penguji, bangun APK atau AAB menggunakan proses normal, lalu upload ke App Distribution di Firebase console. Anda harus menandatangani APK dengan kunci debug atau kunci penandatanganan aplikasi.
Membuat kasus pengujian
Untuk menjalankan pengujian yang dipandu AI, agen App Testing menggunakan kasus pengujian bahasa alami Anda untuk menjalankan pengujian terhadap aplikasi Anda.
Setiap kasus pengujian dibagi menjadi beberapa langkah, yang akan dijalankan secara berurutan. Langkah memungkinkan Anda membagi kasus pengujian menjadi beberapa fase, masing-masing dengan kriteria keberhasilannya sendiri. Agen dapat melakukan banyak tindakan selama satu langkah.
Untuk membuat kasus pengujian, buka halaman App Distribution di Firebase console dan lakukan langkah-langkah berikut:
- Di tab Test Cases, klik New test case. Jika tidak ingin membuat kasus pengujian sendiri, Anda dapat mengubah atau menggunakan contoh kasus pengujian yang disediakan.
- Dalam dialog Add test case, beri nama kasus pengujian. Ini digunakan untuk mengidentifikasi pengujian, tetapi diabaikan oleh agen.
- Pertimbangkan untuk membagi pengujian menjadi beberapa langkah, dengan mengklik tombol Add another step.
- Berikan Sasaran untuk setiap langkah yang menjelaskan tindakan yang harus dilakukan agen App Testing selama langkah tersebut.
- (Opsional) Tambahkan Petunjuk untuk memberikan informasi tambahan guna membantu agen App Testing memahami dan menavigasi aplikasi Anda selama langkah tersebut.
- (Opsional) Tambahkan Kriteria Keberhasilan untuk membantu agen App Testing menentukan kapan langkah berhasil diselesaikan.
- Klik Save setelah Anda selesai menyesuaikan pengujian.
Contoh kasus pengujian
Berikut adalah contoh cara membuat kasus pengujian menggunakan agen App Testing:
| Menguji halaman beranda | |
|---|---|
Judul pengujian |
Pemuatan halaman beranda |
Sasaran |
Memuat halaman beranda |
Petunjuk |
Buka layar orientasi. Tutup semua pop-up. Jangan login. |
Kriteria Keberhasilan |
Halaman beranda aplikasi utama terlihat di layar, semua gambar telah dimuat, dan tidak muncul error. |
Menjalankan pengujian
Agen App Testing memungkinkan Anda menjalankan pengujian yang dipandu AI di konsol dengan mengklik tombol Run tests dari halaman Releases atau Test Cases. Tindakan ini akan membuka layar penyesuaian agen App Testing, tempat Anda dapat memilih satu atau beberapa kasus pengujian yang ada untuk dieksekusi oleh agen. Anda juga dapat memilih perangkat yang ingin diuji, dan apakah akan memberikan kredensial login.
Anda juga dapat memilih untuk menjalankan Pengujian crawl acak dengan mengubah jenis pengujian. Pengujian crawl acak menggunakan fitur Penguji Otomatis.
Anda dapat melihat hasil pengujian dari halaman Releases di tab agen App Testing dari suatu rilis. Tombol View details akan membuka dialog Test Results dan menampilkan masalah, screenshot aplikasi, dan tindakan yang dilakukan Gemini selama pengujian.
Menguji build secara otomatis
Untuk menjalankan pengujian agen App Testing secara otomatis pada build baru, misalnya dari pipeline CI/CD, Anda dapat mendistribusikan build ke agen menggunakan plugin Gradle atau fastlane App Distribution, atau Firebase CLI.
Menguji build secara otomatis dengan Firebase CLI
Anda harus menentukan setidaknya satu perangkat pengujian dan satu ID kasus pengujian untuk menggunakan fitur agen App Testing. ID kasus pengujian dapat ditemukan dan didownload di halaman Test Cases di Firebase console. Untuk mengetahui informasi selengkapnya tentang cara memulai Firebase CLI dan berbagai cara untuk mengonfigurasi distribusi, lihat Mendistribusikan aplikasi Android kepada penguji menggunakan Firebase CLI.
Jalankan perintah appdistribution:distribute untuk mengupload aplikasi, dan gunakan parameter berikut untuk mengonfigurasi distribusi ke fitur agen App Testing:
| opsi appdistribution:distribute | |
|---|---|
--test-devices atau --test-devices-file
|
Perangkat pengujian yang build-nya akan Anda distribusikan ke fitur agen App Testing. Anda dapat menentukan perangkat pengujian sebagai daftar perangkat pengujian yang dipisahkan titik koma: --test-devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi daftar perangkat pengujian yang dipisahkan titik koma: --test-devices-file: "/path/to/test-devices.txt"
|
--test-username
|
Nama pengguna untuk login otomatis yang akan digunakan selama pengujian. |
--test-password atau --test-password-file
|
Sandi untuk login otomatis yang akan digunakan selama pengujian. Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi sandi: --test-password-file: "/path/to/test-password.txt"
|
--test-non-blocking
|
Menjalankan pengujian secara asinkron. Buka Firebase console untuk melihat hasil pengujian otomatis. |
--test-case-ids atau --test-case-ids-file
|
Comma-separated list ID kasus pengujian untuk menjalankan pengujian otomatis yang didukung AI: --test-case-ids: "load-app,play-the-first-level"
Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi comma atau newline separated list ID kasus pengujian: --test-case-ids-file: "/path/to/test-case-ids.txt"
|
Menguji build secara otomatis dengan Gradle
Anda harus menentukan setidaknya satu perangkat pengujian dan satu ID kasus pengujian untuk menggunakan fitur agen App Testing. ID kasus pengujian dapat ditemukan dan didownload di halaman Test Cases di Firebase console. Untuk informasi selengkapnya tentang cara memulai Gradle dan berbagai cara untuk mengonfigurasi distribusi Anda, lihat Mendistribusikan aplikasi Android kepada penguji menggunakan Gradle.
Anda dapat mengonfigurasi App Distribution dengan menambahkan setidaknya satu bagian firebaseAppDistribution dan menggunakan parameter berikut untuk mengonfigurasi distribusi ke fitur agen App Testing:
| Parameter Build App Distribution | |
|---|---|
testDevices atau testDevicesFile
|
Perangkat pengujian yang build-nya akan Anda distribusikan ke fitur agen App Testing. Anda dapat menentukan perangkat pengujian sebagai daftar spesifikasi perangkat yang dipisahkan titik koma testDevices="model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
Atau Anda dapat menentukan jalur ke file yang berisi daftar spesifikasi perangkat yang dipisahkan titik koma: testDevicesFile="/path/to/testDevices.txt"
|
testUsername
|
Nama pengguna untuk login otomatis yang akan digunakan selama pengujian. |
testPassword atau testPasswordFile
|
Sandi untuk login otomatis yang akan digunakan selama pengujian. Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi sandi: testPasswordFile="/path/to/testPassword.txt" |
testNonBlocking |
Menjalankan pengujian secara asinkron. Buka Firebase console untuk melihat hasil pengujian otomatis. |
testCasesatau
testCasesFile
|
Comma-separated list ID kasus pengujian untuk menjalankan pengujian otomatis yang didukung AI: testCases: "load-app,play-the-first-level"
Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi comma atau newline separated list ID kasus pengujian: testCasesFile: "/path/to/test-case-ids.txt"
|
Menguji build Anda secara otomatis dengan fastlane
Anda harus menentukan setidaknya satu perangkat pengujian dan satu ID kasus pengujian untuk menggunakan fitur agen App Testing. ID kasus pengujian dapat ditemukan dan didownload di halaman Test Cases di Firebase console. Untuk mengetahui informasi selengkapnya tentang cara memulai fastlane dan berbagai cara untuk mengonfigurasi distribusi, lihat Mendistribusikan aplikasi Android kepada penguji menggunakan fastlane.
Di lane ./fastlane/Fastfile, tambahkan blok firebase_app_distribution. Gunakan parameter berikut untuk mengonfigurasi distribusi ke fitur agen App Testing:
| parameter firebase_app_distribution | |
|---|---|
test_devices atau test_devices_file
|
Perangkat pengujian yang build-nya akan Anda distribusikan ke fitur agen App Testing. Anda dapat menentukan perangkat pengujian sebagai daftar perangkat pengujian yang dipisahkan titik koma: test_devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi daftar perangkat pengujian yang dipisahkan titik koma: test_devices_file: "/path/to/test-devices.txt"
|
test_username
|
Nama pengguna untuk login otomatis yang akan digunakan selama pengujian. |
test_password atau test_password_file
|
Sandi untuk login otomatis yang akan digunakan selama pengujian. Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi sandi: test_password_file: "/path/to/test-password.txt"
|
test_non_blocking |
Menjalankan pengujian secara asinkron. Buka Firebase console untuk melihat hasil pengujian otomatis. |
--test_case_ids atau --test_case_ids_file
|
Comma-separated list ID kasus pengujian untuk menjalankan pengujian otomatis yang didukung AI: --test_case_ids: "load-app,play-the-first-level"
Atau, Anda dapat menentukan jalur ke file teks biasa yang berisi comma atau newline separated list ID kasus pengujian: --test_case_ids_file: "/path/to/test-case-ids.txt"
|
Men-debug hasil pengujian
Jika hasil pengujian berbeda dari yang Anda harapkan, Anda dapat men-debug pengujian menggunakan tombol Show agent view di bagian View details di halaman Test Results. Tampilan agen menampilkan elemen di layar yang dapat dideteksi oleh agen App Testing saat menggunakan informasi aksesibilitas aplikasi. Jika ingin menganalisis hal yang dideteksi oleh agen pengujian aplikasi ini, Anda dapat mendownload informasi tersebut dari menu tambahan tindakan.
Anda juga dapat menggunakan tombol View artifacts di halaman Test Results untuk melihat semua video, log, dan artefak Cloud untuk hasil pengujian Anda.
Masalah umum dan batasan
Pratinjau agen App Testing memiliki beberapa batasan umum:
- Karena agen App Testing menggunakan AI generatif untuk menguji aplikasi Anda, agen ini terkadang akan melakukan tindakan yang berbeda meski petunjuk yang diberikan sama.
- Agen App Testing hanya mendukung tindakan berikut: ketuk, masukkan teks, scroll ke atas, scroll ke bawah, dan tunggu.
- Agen App Testing akan kesulitan saat menjalankan pengujian yang hanya berisi satu langkah, tetapi memerlukan banyak tindakan untuk menyelesaikannya. Model ini akan berperforma lebih baik saat tugas kompleks dibagi menjadi beberapa langkah yang lebih sederhana.
- Agen App Testing terkadang tidak akan men-scroll ke elemen aplikasi yang tidak terlihat di layar. Hal ini lebih sering terjadi jika aplikasi tidak memiliki indikasi visual yang menunjukkan bahwa layar dapat di-scroll untuk menemukan elemen lain. Sebagai solusi, kolom "hints" dapat digunakan untuk menyarankan agar agen melakukan scroll.
- Agen App Testing terkadang mengalami masalah dalam menghitung, misalnya saat diminta melakukan suatu tindakan dalam jumlah tertentu.
Kuota pengujian
Selama pratinjau, pengujian yang dipandu AI akan ditawarkan tanpa biaya dalam batas kuota. Batas kuota default adalah 100 pengujian per bulan.
Perlu diperhatikan bahwa jika Anda memilih untuk menjalankan beberapa kasus pengujian, atau menjalankan kasus pengujian yang sama di beberapa perangkat, masing-masing kombinasi akan dihitung sebagai pengujian terpisah. Sebagai contoh, jika Anda menjalankan 2 kasus pengujian di 2 perangkat, maka total pengujian yang dihitung adalah 4.
Untuk meningkatkan kuota di atas batas default, hubungi Dukungan Firebase dengan kasus penggunaan Anda.