Logo American Express
Firebase Test Lab for Android mengurangi biaya pengujian aplikasi American Express sebesar 50%

Pendahuluan

Aplikasi seluler AMEX, dengan jutaan download di perangkat Android, digunakan oleh Pelanggan Kartu untuk melacak pengeluaran dan reward, menemukan penawaran, membayar tagihan, serta menikmati fitur khusus aplikasi. Untuk memfasilitasi update yang sering, American Express membuat lab perangkat untuk menguji perubahan kode dalam aplikasi mereka di semua platform sebelum dirilis.


Tantang

Dengan lusinan perangkat yang menjalankan berbagai rilis Android, lab sulit untuk diskalakan. Menambahkan pengujian baru ternyata menurunkan produktivitas karena keterbatasan throughput di lab perangkat, dan ketika anggota tim baru bergabung, peningkatan jumlah perubahan kode makin menambah beban.

Mengelola lab perangkat memakan banyak waktu dan biaya, menuntut perhatian para engineer yang seharusnya dapat berfokus untuk meningkatkan kualitas dan mendorong nilai tambah bagi Pelanggan Kartu. Perangkat biasanya memiliki masalah yang memerlukan intervensi manual, yang sering kali mengharuskan seluruh rangkaian pengujian dijalankan ulang. Perangkat yang bermasalah dihapus berkala dari lab perangkat, dan penggantiannya sering mengakibatkan periode nonaktif karena tim harus menunggu datangnya perangkat baru.

Logo American Express

Solusi

Selama periode alfa produk, frekuensi update untuk aplikasi AMEX, komitmen terhadap rilis berkualitas tinggi, dan kesediaan engineer untuk berkolaborasi memberikan lingkungan ideal bagi tim Firebase Test Lab. Kemudian, American Express memberikan masukan berharga yang membantu pembuatan versi produk yang dirilis. Firebase Test Lab terintegrasi dengan ratusan pengujian instrumentasi American Express yang kompleks dan terangkai. Meskipun Test Lab masih berada dalam tahap awal pengembangan, American Express dapat mengalihkan semua pengujian integrasi berkelanjutan ke Test Lab dan berhasil menghentikan sebagian besar lab perangkatnya. Dengan demikian, engineer yang mengelola perangkat mereka itu dapat mengalihkan fokus ke penyediaan fitur baru bagi Pelanggan Kartu, sekaligus membuat dan menjalankan pengujian untuk memastikan kualitas produk yang tinggi.

Selain itu, American Express dapat menyesuaikan jumlah pengujian tanpa khawatir memperlambat eksekusi rangkaian pengujian dan meningkatkan skala lab perangkat buatan sendiri. Hal ini termasuk menangani lonjakan jumlah pengujian saat anggota tim baru bergabung dan membuat perubahan kode tambahan. American Express sekarang menjalankan lebih dari 1.000 uji instrumentasi pada setiap permintaan pull, yang sama dengan ratusan ribu pengujian per rilis publik. Menjalankan begitu banyak pengujian bersamaan secara dramatis meningkatkan kemampuannya untuk mencegah bug baru dan berulang, semua berkat kemampuan Firebase Test Lab untuk memparalelkan pengujian secara massal.

PENAFIAN: Hasil dapat bervariasi.


Hasilnya

30% lebih banyak pengujian dalam setengah dari waktu yang biasa dihabiskan

Eksekusi rangkaian pengujian lengkap lebih cepat 2X, tanpa pelambatan saat menambahkan pengujian

Biaya lebih rendah 50% dibandingkan lab perangkat internal

Logo American Express

Dengan Firebase Test Lab, American Express dapat menjalankan seluruh rangkaian pengujian Android kami yang ekstensif untuk setiap permintaan pull. Firebase menangani penskalaan infrastruktur pengujian, sehingga engineer kami dapat berfokus pada kode, peningkatan aplikasi, dan perubahan yang terkait untuk rangkaian pengujian kami."

- Michael Bailey, VP and Principal Engineer, American Express