Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Firebase Test Lab for Android mengurangi biaya pengujian aplikasi American Express sebesar 50%
Pendahuluan
Aplikasi seluler AMEX, dengan jutaan download di perangkat Android, digunakan oleh
Pelanggan Kartu untuk melacak pengeluaran dan reward, menemukan penawaran, membayar
tagihan, serta menikmati fitur khusus aplikasi. Untuk memfasilitasi
update yang sering, American Express membuat lab perangkat untuk menguji perubahan kode
dalam aplikasi mereka di semua platform sebelum dirilis.
Tantang
Dengan lusinan perangkat yang menjalankan berbagai rilis Android, lab
sulit untuk diskalakan. Menambahkan pengujian baru ternyata menurunkan produktivitas
karena keterbatasan throughput di lab perangkat, dan ketika anggota tim
baru bergabung, peningkatan jumlah perubahan kode makin menambah
beban.
Mengelola lab perangkat memakan banyak waktu dan biaya,
menuntut perhatian para engineer yang seharusnya dapat
berfokus untuk meningkatkan kualitas dan mendorong nilai tambah bagi Pelanggan
Kartu. Perangkat biasanya memiliki masalah yang memerlukan
intervensi manual, yang sering kali mengharuskan seluruh rangkaian pengujian dijalankan ulang.
Perangkat yang bermasalah dihapus berkala dari lab perangkat,
dan penggantiannya sering mengakibatkan periode nonaktif karena tim harus menunggu
datangnya perangkat baru.
Solusi
Selama periode alfa produk, frekuensi update
untuk aplikasi AMEX, komitmen terhadap rilis berkualitas tinggi, dan
kesediaan engineer untuk berkolaborasi memberikan lingkungan
ideal bagi tim Firebase Test Lab. Kemudian, American Express
memberikan masukan berharga yang membantu pembuatan
versi produk yang dirilis. Firebase Test Lab terintegrasi
dengan ratusan pengujian instrumentasi
American Express yang kompleks dan terangkai. Meskipun Test Lab masih berada dalam tahap awal
pengembangan, American Express dapat mengalihkan semua
pengujian integrasi berkelanjutan ke Test Lab dan berhasil
menghentikan sebagian besar lab perangkatnya. Dengan demikian, engineer yang
mengelola perangkat mereka itu dapat mengalihkan fokus ke penyediaan
fitur baru bagi Pelanggan Kartu, sekaligus membuat dan menjalankan pengujian
untuk memastikan kualitas produk yang tinggi.
Selain itu, American Express dapat menyesuaikan jumlah
pengujian tanpa khawatir memperlambat eksekusi rangkaian pengujian
dan meningkatkan skala lab perangkat buatan sendiri. Hal ini termasuk menangani
lonjakan jumlah pengujian saat anggota tim baru bergabung dan
membuat perubahan kode tambahan. American Express sekarang menjalankan
lebih dari 1.000 uji instrumentasi pada setiap permintaan pull, yang
sama dengan ratusan ribu pengujian per rilis publik.
Menjalankan begitu banyak pengujian bersamaan secara dramatis meningkatkan
kemampuannya untuk mencegah bug baru dan berulang, semua berkat
kemampuan Firebase Test Lab untuk memparalelkan
pengujian secara massal.
PENAFIAN: Hasil dapat bervariasi.
Hasilnya
30% lebih banyak pengujian dalam setengah dari waktu yang biasa dihabiskan
Eksekusi rangkaian pengujian lengkap lebih cepat 2X, tanpa pelambatan saat menambahkan
pengujian
Biaya lebih rendah 50% dibandingkan lab perangkat internal
Dengan Firebase Test Lab, American Express dapat menjalankan seluruh rangkaian pengujian Android kami yang ekstensif untuk setiap permintaan pull. Firebase menangani penskalaan infrastruktur pengujian, sehingga engineer kami dapat berfokus pada kode, peningkatan aplikasi, dan perubahan yang terkait untuk rangkaian pengujian kami."
- Michael Bailey, VP and Principal Engineer, American Express
[null,null,[],[],[],null,["[*arrow_back*\nExplore other case studies](/case-studies) \n[View more solutions](/solutions) \n\nFirebase Test Lab for Android reduced American Express app test costs by 50%\n\n*** ** * ** ***\n\nIntroduction The AMEX mobile app, with a million Android downloads, is used by\nCard Members to track spending and rewards, find offers, pay\nbills, and enjoy app-only features. To facilitate frequent\nupdates, American Express built a device lab to test code changes\nin their app across all platforms before release.\n\n*** ** * ** ***\n\nChallenge With dozens of devices running various Android releases, the lab\nwas tough to scale. Adding new tests decreased productivity\nbecause of the device lab's limited throughput, and when new team\nmembers joined, the increased number of code changes added even\nmore load.\n\nMaintaining the device lab was time-consuming and costly,\ndiverting the attention of engineers who otherwise would have\nbeen focused on enhancements to drive additional value for Card\nMembers. The devices commonly had issues that required manual\nintervention, often forcing reruns of the entire test suite.\nProblematic devices were regularly removed from the device lab,\nand replacing them often created down-time while the team awaited\nthe arrival of new devices. \n\n*** ** * ** ***\n\nSolution \nDuring the product's alpha period, the frequency of updates\nto the AMEX app, commitment to high-quality releases, and\nwillingness of engineers to collaborate provided an ideal\nenvironment for the Firebase Test Lab team. American Express,\nin turn, provided valuable feedback that helped to shape the\nreleased version of the product. Firebase Test Lab integrated\nwith American Express' complex suite of hundreds of\ninstrumentation tests. Even while Test Lab was in early\ndevelopment, American Express was able to switch all of their\ncontinuous integration testing to Test Lab and successfully\nretire much of their device lab. This enabled the engineers\nmaintaining the devices to shift their focus to shipping new\nfeatures to Card Members while also writing and running tests\nto ensure high product quality. \nIn addition, American Express was able to scale the number of\ntests without worrying about slowing down test-suite execution\nand scaling up a homegrown device lab. This includes handling\nsurges in the number of tests as new team members join and\ngenerating additional code changes. American Express now runs\nover 1,000 instrumentation tests on every pull request, which\nequals hundreds of thousands of tests per public release.\nRunning so many concurrent tests dramatically increases\ntheir ability to prevent new and recurring bugs, all thanks\nto Firebase Test Lab's ability to massively parallelize\ntesting.\n\nDISCLAIMER: Results may vary.\n\n*** ** * ** ***\n\nResults\n\n30% more tests in half the time\n\n2X+ faster execution of full test suite, with no slowdown when adding\ntests\n\n50% lower cost vs. internal device lab \n\nFirebase Test Lab enables American Express to execute our entire extensive Android test suite for every pull request. Firebase takes care of scaling the test infrastructure, so our engineers can focus on the code, driving improvements to the app and corresponding changes to our test suite.\"\n\n\n- Michael Bailey, VP and Principal Engineer, American Express \nTry Firebase today\n\n\nIntegrating it into your app is easy.\n[Get started](https://console.firebase.google.com/) \n\nAll Firebase products \n\nBuild\n\n- [App Check](/products/app-check)\n- [App Hosting](/products/app-hosting)\n- [Authentication](/products/auth)\n- [Cloud Functions](/products/functions)\n- [Cloud Storage](/products/storage)\n- [Data Connect](/products/data-connect)\n- [Extensions](/products/extensions)\n- [Firestore](/products/firestore)\n- [Firebase ML](/products/ml)\n- [Genkit](https://genkit.dev/)\n- [Hosting](/products/hosting)\n- [Realtime Database](/products/realtime-database)\n- [Firebase AI Logic client SDKs](/products/firebase-ai-logic)\n\n[Generative AI](/products/generative-ai) \n\nRun\n\n- [A/B Testing](/products/ab-testing)\n- [App Distribution](/products/app-distribution)\n- [Cloud Messaging](/products/cloud-messaging)\n- [Crashlytics](/products/crashlytics)\n- [Google Analytics](/products/analytics)\n- [In-App Messaging](/products/in-app-messaging)\n- [Performance Monitoring](/products/performance)\n- [Remote Config](/products/remote-config)\n- [Test Lab](/products/test-lab)"]]
