1. Perkenalan
Terakhir Diperbarui: 07-04-2022
Cara menjalankan pengujian seluler dengan sistem CI/CD
Menjalankan pengujian seluler bisa jadi sulit: banyak aplikasi berjalan di berbagai platform, perangkat, dan versi API. Pengembang aplikasi ingin menguji sebanyak mungkin konfigurasi untuk mengetahui masalah sebelum penggunanya melakukannya. Namun, kendala biaya dan sumber daya membatasi jumlah perangkat uji dan jumlah pemeliharaan manual yang dapat diinvestasikan oleh masing-masing pengembang. Ketika proses pengembangan meningkat, terutama untuk sistem integrasi berkelanjutan/pengembangan berkelanjutan (CI/CD), proses pengujian memerlukan menjadi otomatis sambil meminimalkan biaya dan upaya pemeliharaan.
Untuk membantu Anda memahami bagaimana kinerja aplikasi Anda di perangkat pengguna, Firebase Test Lab menghosting berbagai perangkat fisik dan virtual seluler di pusat data kami. Kami juga menyediakan Google Cloud CLI, alat baris perintah independen platform yang mengatur pengujian yang berjalan pada perangkat di pusat data kami. Gcloud CLI mempermudah pengintegrasian solusi pengujian berbasis cloud Test Lab ke dalam alur kerja CI/CD yang ada.
Dukungan lintas platform
Test Lab menyediakan solusi pengujian untuk aplikasi Android dan iOS serta dukungan khusus untuk game seluler seperti Unity. Opsi pengujian mencakup kerangka kerja pengujian populer seperti Android Espresso, UI Automator, dan iOS XCTest. Menggunakan perayap otomatis kami, Robo , Test Lab bahkan dapat menjalankan pengujian tanpa kode pengujian apa pun.
Tidak ada persyaratan perangkat keras
Test Lab menghosting perangkat fisik di pusat data Google, dan menghosting perangkat virtual di Google Cloud. Yang perlu Anda lakukan adalah mengirim tes Anda ke Test Lab dan menunggu hasilnya.
Cepat dan andal
Menjalankan banyak kasus pengujian secara bersamaan dapat memakan waktu lama, memblokir proses CI/CD. Dengan Test Lab, Anda dapat dengan mudah melakukan pengujian dan menjalankannya di beberapa perangkat secara paralel. Anda juga dapat mendeteksi pengelupasan, titik nyeri pengujian seluler yang umum.
Apa yang akan Anda pelajari
- Cara membuat artefak pengujian
- Cara menjalankan pengujian seluler menggunakan gcloud CLI
- Cara menyiapkan Jenkins CI
- Cara menjalankan pengujian seluler menggunakan Jenkins CI
- Cara mengonfigurasi pengujian untuk ditingkatkan dengan sistem CI
Codelab ini berfokus pada menjalankan pengujian. Konsep dan blok kode yang tidak relevan disamarkan dan disediakan untuk Anda cukup salin dan tempel.
Apa yang Anda butuhkan
Jika Anda lebih suka mem-build sesuatu dari awal, Anda memerlukan Android Studio untuk menjalankan pengujian Android, atau XCode untuk menjalankan pengujian iOS. Atau bawa saja sendiri dan kami akan menyediakan artefak.
2. Jalankan pengujian dengan gcloud CLI
Membangun APK aplikasi Android dan menguji APK
Untuk menjalankan pengujian dengan Test Lab, mulailah dengan membuat APK aplikasi Android dan APK pengujian, yang berisi pengujian berinstrumen untuk dijalankan di perangkat hardware atau emulator. Jika sudah memiliki basis kode yang berfungsi, Anda dapat membuat APK sendiri atau menggunakan BasicSample untuk Espresso .
Untuk mem-build APK menggunakan perintah Gradle, Anda harus menginstal Android SDK. Jika Android Studio Anda belum terpasang di mesin Anda, pasang Android Studio dan Android SDK , dan setel lingkungan ANDROID_HOME dengan direktori Android SDK Anda. Misalnya, di file ~/.bash_profile Anda, tambahkan baris berikut:
export ANDROID_HOME=~/Android/Sdk # For linux
export ANDROID_HOME=~/Library/Android/sdk # For MacOS
Kemudian, jalankan perintah berikut untuk menggandakan kode dan membuat APK:
git clone https://github.com/android/testing-samples.git cd testing-samples/ui/espresso/BasicSample/ ./gradlew assembleDebug # for generating app apk ./gradlew assembleDebugAndroidTest # for generating testing apk
Setelah menjalankan perintah clone dan build, Anda dapat menemukan APK aplikasi dan menguji APK di lokasi berikut:
app/build/outputs/apk/debug/app-debug.apk app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk
Atau, Anda dapat menggunakan opsi berikut untuk mendapatkan pengujian dan APK aplikasi:
- Untuk mem-build APK di Android Studio, ikuti petunjuk di Test in Android Studio .
- Unduh contoh aplikasi Notepad . Gunakan file biner
app-debug-unaligned.apkdan file pengujian instrumentasiapp-debug-test-unaligned.apk, yang terletak diNotePad/app/build/outputs/apk/.
Jika Anda memiliki kode sumber yang berfungsi untuk aplikasi iOS, Anda dapat menulis XCTest dan membuat file zip dari aplikasi dan pengujian.
Gunakan gcloud CLI untuk menjalankan pengujian dengan Test Lab
Di bagian ini, Anda membuat proyek Firebase dan mengonfigurasi lingkungan Google Cloud SDK lokal Anda. Untuk mempelajari lebih lanjut, lihat Memulai pengujian dengan gcloud CLI .
Siapkan CLI gcloud
- Unduh Google Cloud SDK , yang menyertakan alat gcloud CLI.
- Verifikasi bahwa instalasi Anda mutakhir:
gcloud components update
- Masuk ke gcloud CLI menggunakan Akun Google Anda:
gcloud auth login
- Setel proyek Firebase Anda di gcloud CLI, dengan
PROJECT_IDsebagai ID proyek Firebase Anda. Anda dapat menemukan ID proyek di URL Firebase Console, yang mengikuti konvensi penamaan ini:https://console.firebase.google.com/project/[PROJECT_ID]/...
gcloud config set project PROJECT_ID
Jika Anda tidak memiliki proyek Firebase, buatlah di Firebase Console .
Jalankan pengujian menggunakan APK bawaan
Di bagian ini, Anda menjalankan uji instrumentasi pada perangkat default Test Lab, yaitu Pixel 3 dengan API level 28. Jika Anda ingin menggunakan perangkat lain, periksa perangkat yang tersedia .
Menggunakan aplikasi dan APK pengujian yang Anda buat di Build APK aplikasi Android dan APK pengujian, jalankan pengujian Instrumentasi Android menggunakan perintah berikut:
gcloud firebase test android run \ --type instrumentation \ --app app/build/outputs/apk/debug/app-debug.apk \ --test app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk
Menganalisis hasil tes
Anda dapat menganalisis hasil tes menggunakan salah satu opsi berikut:
- ringkasan
gcloud- saat pengujian Anda selesai, gcloud CLI mencetak ringkasan dasar hasil pengujian Anda. - kode keluar
gcloud- setelah tes selesai, perintah keluar dengan 0 jika tes lulus. Jika tes gagal, perintah keluar dengan kode keluar bukan nol. - Firebase Console - gcloud CLI mencetak tautan ke Firebase Console. Tautan mengikuti konvensi penamaan
https://console.firebase.google.com/project/PROJECT_ID/testlab/...Untuk mempelajari lebih lanjut, lihat Menafsirkan hasil dari eksekusi pengujian tunggal . - File XML JUnit - gcloud CLI mencetak yang berikut:
Raw results will be stored in your Cloud Storage bucket at [https://console.developers.google.com/storage/browser/test-lab-xxxxx/xxxxx/]
test-lab-xxxxx/xxxxx adalah bucket Cloud Storage yang menyimpan artefak dan hasil pengujian. Untuk menemukan file XML JUnit yang berisi hasil pengujian, buka tautan dan arahkan ke blueline-28-en-portrait/test_result_1.xml .
3. Atur dengan Jenkins CI
Di bagian ini Anda menggunakan Jenkins CI, sistem CI yang populer, untuk menjalankan pengujian dengan Test Lab. Jika Anda ingin menggunakan sistem CI yang berbeda, lihat Praktik terbaik lanjutan untuk menjalankan rangkaian pengujian besar dan dokumentasi untuk sistem CI lainnya seperti Bitrise dan Circle CI . Anda dapat menggunakan Flank sebagai alternatif gcloud CLI.
Aktifkan gcloud CLI untuk Jenkins
Sebelum dapat menggunakan Test Lab dengan Jenkins, Anda harus mengaktifkan API yang diperlukan dan menyiapkan akun layanan yang dapat digunakan Jenkins untuk mengautentikasi dengan gcloud CLI.
Tambahkan akun layanan Google Cloud untuk Jenkins
Akun layanan adalah akun terbatas yang ditujukan untuk integrasi layanan. Akun ini menawarkan kontrol yang sangat baik untuk layanan tertentu dan tidak tunduk pada pemeriksaan spam atau perintah captcha, yang jika tidak dapat memblokir build CI Anda.
Untuk membuat akun layanan, ikuti langkah-langkah berikut:
- Buka halaman Akun Layanan di Google Cloud Console.
- Klik Buat akun layanan , tambahkan Nama dan Deskripsi , lalu klik Buat dan lanjutkan .
- Dari dropdown Select a role , pilih Basic , lalu pilih Editor .
- Klik Lanjutkan , lalu klik Selesai .
Selanjutnya, Anda membuat dan mengunduh kunci autentikasi yang dapat digunakan Jenkins untuk mengautentikasi sebagai akun layanan yang Anda buat.
Untuk membuat dan mengunduh kunci akun layanan, ikuti langkah-langkah berikut:
- Dari halaman Akun Layanan di Google Cloud Console, klik email yang terkait dengan akun yang Anda buat.
- Pilih Keys , lalu klik Add key dan Create new key .
- Pilih JSON , lalu klik Buat .
- Saat Anda diminta untuk mengunduh file, klik OK. Unduh file ke tempat yang aman di komputer Anda. Anda memerlukan file ini nanti saat mengonfigurasi Jenkins.
Untuk mempelajari lebih lanjut tentang membuat akun layanan, lihat Membuat akun layanan .
Aktifkan Google Cloud API yang diperlukan
Cloud Testing API memungkinkan Anda menjalankan pengujian pada infrastruktur Google. Anda mengaktifkan API ini setelah menyelesaikan Menjalankan pengujian dengan gcloud CLI. Cloud Tool Results API memungkinkan Anda mengakses hasil pengujian secara terprogram.
- Buka Pustaka API Google Developers Console .
- Di bilah pencarian di bagian atas Firebase Console, masukkan nama setiap API yang diperlukan ( Cloud Testing API dan Cloud Tool Results API ). Halaman ikhtisar untuk API yang diminta muncul.
- Klik Aktifkan API di setiap halaman ikhtisar API.
Instal dan atur Jenkins
Anda dapat menginstal dan menyiapkan Jenkins CI di Linux, macOS, Windows, dan banyak lingkungan lainnya. Detail tertentu dari codelab ini khusus untuk menginstal dan menjalankan Jenkins CI di Linux, termasuk penggunaan garis miring (/) di jalur file.
Untuk mengunduh dan menginstal Jenkins di komputer yang menjalankan Linux atau Windows, ikuti petunjuk untuk menginstal Jenkins . Setelah Anda menginstal Jenkins, ikuti petunjuk penginstalan Jenkins yang sama untuk menyelesaikan penyiapan dan untuk mengakses dasbor Jenkins menggunakan http://localhost:8080 .
Verifikasi plugin yang diinstal
Jenkins mendukung sistem kontrol versi yang berbeda. Di codelab ini, Anda menggunakan Git untuk menjalankan pengujian sebelumnya. Dan untuk mendapatkan pengalaman yang lebih baik dalam menjalankan gcloud CLI, Anda perlu menginstal Plugin GCloud SDK.
- Di dasbor Jenkins, klik Kelola Jenkins lalu klik Kelola Plugin .
- Cari plugin Git dan GCloud SDK dan instal (jika belum diinstal).
Konfigurasikan lokasi Android dan Google Cloud SDK Anda
Anda sekarang menginstruksikan Jenkins di mana menemukan Google Cloud SDK dan Android SDK.
Untuk mengonfigurasi Google Cloud dan Android SDK untuk Jenkins, ikuti langkah-langkah berikut:
- Di dasbor Jenkins, klik Kelola Jenkins , lalu klik Konfigurasi Alat Global .
- di bagian Google Cloud SDK , klik Tambahkan Google Cloud SDK .
- Di kolom Nama , masukkan nama untuk instance Google Cloud SDK yang mudah diingat, misalnya GCloud-SDK.
- Masukkan direktori beranda Google Cloud SDK Anda, misalnya,
/opt/google-cloud-sdk. - Klik Simpan .
- Konfigurasikan properti seluruh sistem Anda untuk Android dan Google Cloud SDK dengan membuka Dashboard > Manage Jenkins > Configure System .
- Pilih kotak centang Variabel lingkungan dan klik Tambahkan .
- Di bidang Nama , masukkan ANDROID_HOME . Di bidang Nilai , masukkan lokasi SDK Android Anda, misalnya,
/opt/Android/Sdk. - Klik kotak centang Lokasi Alat dan klik Tambah . Dari tarik-turun Nama , pilih nama instance Google Cloud SDK yang Anda tambahkan di Konfigurasi Alat Global.
- Di kolom Beranda , masukkan lokasi Google Cloud SDK Anda, misalnya,
/opt/google-cloud-sdk. - Klik Simpan .
Tambahkan kredensial akun layanan Anda ke Jenkins
Anda sekarang menambahkan kredensial akun layanan gcloud CLI ke Jenkins sehingga Jenkins dapat mengautentikasi dan berhasil menjalankan perintah gcloud CLI.
- Di dasbor Jenkins, klik Kelola Jenkins lalu klik Kelola Kredensial .
- Di bagian Toko yang dicakup ke Jenkins , klik tautan domain (global) , lalu klik Tambahkan Kredensial .
- Dari tarik-turun Jenis , pilih Akun Layanan Google dari kunci pribadi .
- Di bidang Nama Proyek , masukkan nama proyek Firebase Anda.
- Pilih kunci JSON , lalu klik Telusuri dan jelajahi ke lokasi tempat Anda menyimpan kunci akun layanan.
- Klik Buat .
Sekarang Anda siap mengonfigurasi build otomatis Jenkins untuk Test Lab.
4. Jalankan pengujian Test Lab dengan Jenkins CI
Sekarang setelah Anda menyiapkan Jenkins, mari gabungkan semuanya dan jalankan pengujian yang sama menggunakan Jenkins.
Anda dapat mengonfigurasi Jenkins untuk menjalankan build otomatis dan menjalankan pengujian setiap kali pembaruan aplikasi Anda diperiksa. Anda juga dapat mengonfigurasi Jenkins untuk menjalankan build secara berkala. Untuk mempelajari selengkapnya tentang mengonfigurasi build di Jenkins, lihat Mengonfigurasi build otomatis .
Buat dan konfigurasikan proyek Jenkins Anda
Buat proyek untuk menjalankan pengujian integrasi berkelanjutan aplikasi Anda dengan Test Lab.
Buat proyek Jenkins
- Buka dasbor Jenkins dengan menjelajah ke http://localhost:8080 .
- Di dasbor Jenkins, klik Item Baru .
- Masukkan nama untuk proyek Anda di bidang Nama item , dan klik Proyek Freestyle untuk membuat proyek yang menggunakan konfigurasi build tunggal.
- Klik Oke . Untuk menyelesaikan konfigurasi proyek, selesaikan bagian yang tersisa secara berurutan..
Konfigurasi manajemen kode sumber
- Dari tab Manajemen Kode Sumber , pilih Git .
- Masukkan https://github.com/android/testing-samples.git di bidang URL Repositori .
Konfigurasikan lingkungan build
Bagian Build Environment memungkinkan Anda mengonfigurasi karakteristik build. Aktifkan autentikasi Google Cloud dengan mengikuti langkah-langkah berikut:
- Di tab Build Environment , centang kotak autentikasi GCloud SDK dan pilih nama penginstalan yang Anda pilih saat menambahkan informasi penginstalan Google Cloud.
- Dari tarik-turun Kredensial Google , pilih kredensial akun layanan yang Anda konfigurasikan.
Tambahkan langkah-langkah build Gradle untuk membangun kembali paket APK
- Gulir ke bawah ke bagian Build , klik Add build step , lalu pilih Execute shell .
- Tambahkan langkah build untuk menjalankan perintah berikut di direktori utama aplikasi Anda:
cd ui/espresso/BasicSample/ ./gradlew assembleDebug # for generating app apk ./gradlew assembleDebugAndroidTest # for generating testing apk
Tambahkan langkah build gcloud CLI ke Jenkins
Sekarang Anda siap menambahkan langkah build ke Jenkins untuk menjalankan Test Lab menggunakan command line gcloud CLI.
Untuk menambahkan langkah build gcloud CLI, tambahkan langkah build Execute shell baru dan masukkan perintah berikut:
gcloud config set project PROJECT_ID
gcloud firebase test android run \
--app ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/debug/app-debug.apk
--test ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk
Setelah menyelesaikan penyiapan proyek, gulir ke bawah ke bagian bawah halaman dan simpan konfigurasi. Anda diarahkan ke halaman beranda untuk proyek baru.
Jalankan tes dengan Jenkins
Sekarang Anda siap membangun proyek Jenkins dan menjalankan pengujian seperti pengujian manual yang Anda jalankan dengan gcloud CLI.
Untuk menjalankan pengujian dengan Jenkins, ikuti langkah-langkah berikut:
- Untuk memicu build secara manual, klik Build Now .
- Periksa progres dan hasilnya dengan mengklik new build > Console Output .
Jika Anda tidak melihat kesalahan, selamat! Anda baru saja menyiapkan proyek dan menjalankan pengujian pada perangkat Pixel 2 dengan sekali klik. Jika Anda mengalami kesalahan, lihat Pemecahan Masalah .
5. Praktik terbaik lanjutan untuk menjalankan rangkaian pengujian besar
Saat Anda ingin menjalankan banyak pengujian secara bersamaan, ikuti praktik terbaik ini untuk memastikan bahwa pengujian Anda berjalan cepat dan andal.
Tingkatkan cakupan pada beberapa konfigurasi perangkat
Anda dapat dengan mudah menambahkan beberapa perangkat ke langkah build gcloud CLI. Dan Anda dapat memeriksa dan memilih perangkat, versi, lokal, dan orientasi yang tersedia. Misalnya, perintah berikut menjalankan pengujian pada dua perangkat:
- Google Pixel 2 virtual dengan API level 30 dalam orientasi potret dan lokal bahasa Inggris
- Samsung Galaxy S20 fisik dengan API level 29 dalam orientasi lanskap dan lokal Prancis
gcloud firebase test android run \ --type instrumentation \ --app app-debug.apk \ --test app-debug-test.apk \ --device model=Pixel2,version=30,locale=en,orientation=portrait \ --device model=x1q,version=29,locale=fr,orientation=landscape
Gunakan file konfigurasi YAML gcloud CLI
Jika Anda lebih suka mengelola argumen di satu tempat atau dengan sistem kontrol sumber, Anda bisa menentukan argumen ini dalam file argumen berformat YAML. Untuk mempelajari cara menggunakan fitur ini, jalankan gcloud topic arg-files .
Tes Shard untuk dijalankan secara paralel
Pecahan pengujian membagi serangkaian pengujian menjadi subgrup (pecahan) yang dijalankan secara terpisah dalam isolasi. Test Lab secara otomatis menjalankan setiap shard secara paralel menggunakan beberapa perangkat, yang memungkinkan Test Lab menyelesaikan seluruh rangkaian pengujian dengan lebih cepat. Untuk informasi selengkapnya, lihat Mengaktifkan sharding .
Untuk mengaktifkan sharding, gunakan saluran gcloud beta , dan tambahkan flag –num-uniform-shards atau –test-targets-for-shard ke langkah build gcloud CLI. Misalnya, untuk membagi pengujian Anda menjadi lima eksekusi dan dijalankan secara paralel, jalankan perintah berikut:
gcloud beta firebase test android run \ --type instrumentation \ --app app-debug.apk \ --test app-debug-test.apk \ --num-uniform-shards 5
Aktifkan deteksi pengelupasan
Tes seluler seringkali tidak stabil. Terkadang tes lulus, dan di lain waktu mungkin gagal, bahkan dengan penyiapan yang sama. Anda dapat mendeteksi apakah pengujian yang gagal tidak stabil dengan menggunakan flag –num-flaky-test-attempts gcloud CLI. Bendera ini menentukan berapa kali eksekusi pengujian harus dicoba kembali jika satu atau lebih kasus pengujian gagal karena alasan apa pun.
Misalnya, untuk menjalankan ulang kasus pengujian yang gagal tiga kali lagi setelah proses awal yang gagal, tentukan yang berikut ini:
gcloud beta firebase test android run \ --type instrumentation \ --app app-debug.apk \ --test app-debug-test.apk \ --num-flaky-test-attempts 3
6. Selamat
Selamat, Anda berhasil menjalankan pengujian Test Lab pertama Anda dengan sistem CI!
Anda membuat aplikasi dan menguji APK, dan menjalankan uji instrumentasi dengan Test Lab menggunakan gcloud CLI. Anda juga menyiapkan proyek Jenkins untuk mengotomatiskan pengujian yang sama.
Sekarang Anda mengetahui langkah-langkah kunci untuk mengintegrasikan Test Lab ke dalam sistem CI/CD Anda.
Apa berikutnya?
Lihat Cara menyiapkan CI menggunakan Firebase Emulator Suite
Bacaan lebih lanjut
- Mulai pengujian dengan sistem CI | Dokumentasi Firebase
- Mulai pengujian dengan gcloud CLI | Dokumentasi Firebase