Ketika Peluncuran Dijadikan Tes: Testing di Bawah Tekanan Rilis Cepat

  • Hello guys, isi postingan akan diubah/diupdate secara berkala mengikuti perkembangan, atau jika ada penambahan data/informasi. Terima kasih telah membaca.

khairul

Member
Okt 13, 2010
195
1
18
Indonesia
Pada 1 Oktober 2013, HealthCare.gov, situs pasar asuransi kesehatan federal Amerika Serikat, dibuka untuk publik. Dalam dua jam, situs mulai tumbang. Sekitar 250.000 pengguna datang bersamaan, jauh di atas kapasitas yang direncanakan. Menurut laporan Inspektorat Jenderal Departemen Kesehatan AS (OIG HHS), hanya enam konsumen yang berhasil mengajukan aplikasi dan memilih paket asuransi di hari pertama [1].

Tiga minggu kemudian, para kontraktor diperiksa Komite Energi dan Perdagangan DPR AS. Cheryl Campbell dari CGI Federal, kontraktor utama, mengatakan pengujian end-to-end atas sistem yang sudah terintegrasi baru pertama kali dilakukan "in the last two weeks of September". Andrew Slavitt dari UnitedHealth menyebut tes end-to-end penuh baru terlihat beberapa hari sebelum peluncuran. Juru bicara CMS, lembaga pemilik proyek, mengakui, "Due to a compressed time frame, the system was not tested enough" [2].

Laporan OIG yang terbit belakangan memperlihatkan bahwa ini bukan kecelakaan. CMS dan kontraktor sudah tahu pengujian fungsionalitas tidak akan selesai sebelum peluncuran, tetapi memilih mengutamakan jadwal. Lingkungan pengujian sering tidak tersedia, komponen datang terlambat, dan seorang kontraktor merangkumnya dengan getir: "You can't test what is not built." Seorang pejabat teknis CMS bahkan menyebut peluncuran itu sendiri sebagai tes bagi sistem [1]. Menurut saya, kalimat terakhir itu merangkum ketegangan testing 2011-2015: rilis makin cepat, sistem makin terhubung, dan pengujian makin sering diperas di ujung jadwal.

Latar Belakang: Otomasi Matang, Anggaran QA Membengkak​


Dari sisi alat, kabarnya baik. Pada 8 Juli 2011, proyek Selenium merilis versi 2.0. Isinya API WebDriver untuk Python, Ruby, Java, dan C# yang sudah dikembangkan lebih dari empat tahun, dukungan yang dibangun langsung ke Opera dan Chrome, serta kemampuan menguji di Android dan iPhone. Pengguna Selenium 1 dijanjikan bisa langsung beralih tanpa membuang tes lama [3].

Dari sisi uang, porsi QA terus naik. World Quality Report 2014, survei tahunan Capgemini, Sogeti, dan HP, menjaring 1.543 CIO serta pemimpin IT dan testing dari 25 negara. Porsi anggaran IT untuk QA dan testing naik dari 18 persen (2012) ke 23 persen (2013) dan 26 persen (2014), lalu diproyeksikan mencapai 29 persen pada 2017 [4].

Kronologi: Lima Tahun yang Menguji Cara Kita Menguji​


2012: Kode Mati yang Bangun Lagi di Knight Capital​


Pagi 1 Agustus 2012, perusahaan perdagangan saham Knight Capital mengalami bencana. Dalam sekitar 45 menit, 212 order kecil dari pelanggan memicu jutaan order otomatis, menghasilkan lebih dari 4 juta transaksi di 154 saham dengan volume lebih dari 397 juta lembar. Kerugiannya lebih dari 460 juta dolar [5].

Putusan SEC (Oktober 2013) membuka penyebabnya. Saat memasang kode baru untuk program ritel NYSE, seorang teknisi tidak menyalin kode ke satu dari delapan server sistem SMARS. Tidak ada teknisi kedua yang memeriksa, dan Knight tidak punya prosedur tertulis yang mewajibkan pemeriksaan itu. Server kedelapan masih menyimpan kode lama bernama Power Peg yang tidak dipakai sejak 2003, dan sebuah flag yang dipakai ulang membangunkannya. Pada 2005, Knight memindahkan fungsi penghitung jumlah saham di kode tersebut tanpa menguji ulang Power Peg [5].

2013: HealthCare.gov dan Standar ISO 29119​


Selain kegagalan HealthCare.gov, tahun 2013 membawa standar internasional baru. Pada September 2013, tiga bagian pertama ISO/IEC/IEEE 29119 terbit setelah disusun sejak 2007. Rangkaian standar ini mengatur proses, dokumentasi, teknik pengujian, dan keyword-driven testing [6].

2014: Peran Tester Dirombak, Riset Menggoyang Kebiasaan​


Pada Agustus 2014, Ars Technica melaporkan perubahan besar di Microsoft. Lewat model "combined engineering" yang dirintis di Bing, developer menulis tes terprogram, sementara QA fokus pada pengujian ala dunia nyata. PHK Juli 2014 banyak mengenai tester khusus di divisi sistem operasi. Di beberapa bagian perusahaan, rasio staf testing/QA terhadap developer turun dari sekitar dua banding satu menjadi mendekati satu banding satu, dan tim test divisi itu berganti nama menjadi "Quality" [7].

Masih di 2014, penolakan terhadap ISO 29119 memuncak lewat petisi Stop 29119 yang digagas International Society for Software Testing (ISST), kelompok pendukung context-driven testing. Petisi itu melampaui target 1.000 tanda tangan dalam kurang dari sebulan. Konsultan testing James Christie menyebut standar ini mewakili pendekatan yang "dated, flawed and discredited". Stuart Reid, ketua kelompok kerja penyusunnya, membalas bahwa standar hanya mewajibkan risk-based testing tanpa membatasi cara tester melakukannya [6].

Dunia riset juga memberi tiga temuan penting. Di ICSE 2014, Inozemtseva dan Holmes menganalisis 31.000 test suite dari lima sistem Java. Setelah jumlah kasus uji dikendalikan, korelasi coverage dengan efektivitas test suite hanya rendah sampai sedang, sehingga coverage tidak layak dijadikan target kualitas [8]. Luo dan rekan mempelajari 201 commit perbaikan tes flaky di 51 proyek open source. Dari 161 commit yang penyebabnya bisa dipilah, penyebab terbanyak adalah menunggu operasi asinkron (45 persen), disusul konkurensi (20 persen) dan ketergantungan urutan tes (12 persen) [9]. Di OSDI 2014, Yuan dan rekan menganalisis 198 kegagalan di Cassandra, HBase, HDFS, MapReduce, dan Redis. Sebanyak 92 persen kegagalan katastrofik berasal dari penanganan error non-fatal yang salah, dan 58 persen sebenarnya bisa ditangkap dengan pengujian sederhana atas kode penanganan error [10].

2015: Piramida Tes dan Anggaran 35 Persen​


Pada 22 April 2015, Mike Wacker menulis di Google Testing Blog bahwa tes end-to-end terdengar ideal tetapi lambat, sulit menunjuk lokasi bug, dan sering flaky. Ia memakai piramida pengujian dengan titik awal 70 persen unit test, 20 persen tes integrasi, dan 10 persen tes end-to-end, serta memperingatkan anti-pola "ice cream cone" (piramida terbalik) dan jam pasir [11].

World Quality Report 2015-16, berdasarkan 1.560 responden dari 32 negara, mencatat porsi QA dan testing mencapai 35 persen anggaran IT, melampaui proyeksi tahun sebelumnya, dan diperkirakan 40 persen pada 2018. Kasus uji otomatis naik menjadi 45 persen, tetapi ketergantungan pada tes manual tetap menjadi tantangan teknis nomor satu (39 persen) [12].

Dampak: Siapa yang Terkena, Dulu dan Sekarang​


Industri dan Regulator​


Kegagalan testing kini berujung di ruang sidang Kongres dan meja regulator pasar modal. Knight membayar 12 juta dolar untuk menyelesaikan perkara dengan SEC [5], sementara para kontraktor HealthCare.gov harus menjelaskan diri di depan Kongres [2]. Biaya pengujian pun naik: WQR menyebut anggaran QA seolah tak terkendali, padahal disiplinnya makin matang [12].

Developer dan Tester​


Bagi developer, menulis tes otomatis menjadi bagian dari pekerjaan, bukan bonus [7] [11]. Bagi tester, gambarannya tidak seragam. Survei ISTQB tahun 2015, dengan lebih dari 3.200 responden dari 89 negara, justru menemukan hampir 80 persen organisasi menyerahkan testing pada tim tes internal, dan pada 84 persen kasus tim tes tidak melapor ke bagian pengembangan. Adopsi otomasi tes mencapai 72 persen [13]. Jika dilihat sekarang, data ini menunjukkan bahwa model Microsoft belum menjadi norma global pada 2015. Laporan WQR sendiri mencatat munculnya peran baru bernama Software Development Test Engineer (SDTE) [12].

Indonesia: e-Filing dan Selenium di Kampus​


Di Indonesia, pelajaran beban puncak datang dari pelaporan pajak. Pada akhir Maret 2015, saat musim pelaporan SPT tahunan memuncak, Liputan6 melaporkan pengguna e-filing mencapai 2,1 juta, melampaui target 2 juta. Pudi Riana dari KPP Menteng Dua mengakui, "Dua hari terakhir ini memang agak susah mengakses e-filing karena semua bersamaan. Sistem agak down." DJP lalu menambah bandwidth di seluruh KPP [14].

Di kampus, alat open source mulai menjadi materi riset. Makalah Hawari dan rekan dari Universitas Telkom (April 2015) menguji aplikasi General Reporting dengan Selenium IDE dan menemukan cacat pada fitur Logout. Mereka lalu menanam mutan, yaitu versi program yang sengaja dirusak, dan mendapati kasus uji awal tidak mendeteksinya, sehingga kasus uji baru harus ditambahkan [15].

Kritik: Otomasi Banyak, Kepercayaan Belum Tentu​


Menurut saya, ada empat catatan kritis dari periode ini:
  • Angka coverage mudah disalahartikan. Coverage berguna untuk menemukan bagian yang belum diuji, tetapi tidak cukup menjadi ukuran mutu test suite [8].
  • Otomasi membawa utang baru. Tes flaky membuat developer berhenti percaya pada hasil tes, dan penyebab terbanyaknya justru pola sehari-hari seperti menunggu operasi asinkron [9] [11].
  • Jadwal masih mengalahkan pengujian. HealthCare.gov dan Knight sama-sama punya alat dan tenaga, tetapi gagal pada disiplin dasar: tes integrasi tepat waktu dan pemeriksaan deployment [1] [5].
  • Standar dan angka survei perlu dibaca kritis. Rex Black dari RBCS mengingatkan bahwa sekitar 1.047 penanda tangan petisi Stop 29119 jauh lebih sedikit daripada 336.000 lebih tester bersertifikat ISTQB [6], sedangkan World Quality Report disusun vendor yang juga menjual layanan testing [12].
Supaya adil, banyak pelajaran diterapkan dengan baik. Menjelang pendaftaran tahun kedua, CMS menetapkan tanggal "pens down" pada 7 Oktober 2014 dan menambah infrastruktur pengujian. Hasilnya, pendaftaran berjalan tanpa outage dengan kapasitas 250.000 pengguna bersamaan [1].

Epilog: Yang Tersisa Setelah 2015​


Laporan OIG yang terbit Februari 2016 menjadi studi kasus resmi tentang HealthCare.gov. Laporan itu mencatat situs pulih dalam dua bulan, dan pendaftaran pertama ditutup dengan 5,4 juta orang memilih paket. Salah satu narasumbernya menyebut, "End-to-end testing is critical. It's suicide not to do it" [1].

Jika dilihat sekarang, warisan 2011-2015 adalah pergeseran fokus dari "berapa banyak tes" ke "tes apa yang bisa dipercaya": piramida tes, perhatian pada tes flaky, dan pengujian kode penanganan error [11] [9] [10].

Refleksi: Jangan Jadikan Pengguna sebagai Tester​


Menurut saya, pelajaran paling awet dari periode ini adalah bahwa pengujian yang dipangkas tidak pernah benar-benar hilang. Ia hanya pindah ke pengguna, ke regulator, atau ke laporan keuangan. Enam pendaftar di hari pertama HealthCare.gov dan 45 menit di Knight adalah harga dari tes yang ditunda [1] [5].

Bagi mahasiswa dan developer pemula, mulailah dari hal yang terbukti murah: tulis unit test untuk jalur error, bukan hanya jalur sukses, hapus kode mati yang tidak dipakai, dan perlakukan tes flaky sebagai bug yang harus diperbaiki.

Pertanyaan untuk teman-teman forum: di proyek kalian, kapan terakhir kali tes end-to-end dijalankan sebelum rilis, dan siapa yang berhak memutuskan rilis ditunda kalau tes belum lolos?

Referensi​


[1] U.S. Department of Health and Human Services, Office of Inspector General. (2016, 22 Februari). HealthCare.gov: CMS Management of the Federal Marketplace - An OIG Case Study (OEI-06-14-00350). HHS OIG. https://oig.hhs.gov/oei/reports/oei-06-14-00350.pdf (Laporan)
[2] Pear, R. (2013, 24 Oktober). Contractors Describe Limited Testing of Insurance Web Site. The New York Times. https://www.nytimes.com/2013/10/25/...y-over-health-plan-woes-at-house-hearing.html (Berita)
[3] Stewart, S. (2011, 8 Juli). Selenium 2.0: Out Now!. Official Selenium Blog. https://www.selenium.dev/blog/2011/selenium-2-0/ (Dokumen resmi)
[4] Capgemini, Sogeti, & HP. (2014, 7 Oktober). World Quality Report 2014-15 (siaran pers). Capgemini. https://www.capgemini.com/us-en/wp-content/uploads/sites/30/2022/05/11_09_pr_wqr_0.pdf (Laporan)
[5] U.S. Securities and Exchange Commission. (2013, 16 Oktober). In the Matter of Knight Capital Americas LLC (Release No. 34-70694, Administrative Proceeding File No. 3-15570). SEC. https://www.sec.gov/files/litigation/admin/2013/34-70694.pdf (Dokumen resmi)
[6] Marvin, R. (2014, 25 September). The software testing schism. SD Times. https://sdtimes.com/applause/software-testing-schism/ (Berita)
[7] Bright, P. (2014, 5 Agustus). How Microsoft dragged its development practices into the 21st century. Ars Technica. https://arstechnica.com/information...-development-practices-into-the-21st-century/ (Berita)
[8] Inozemtseva, L., & Holmes, R. (2014). Coverage Is Not Strongly Correlated with Test Suite Effectiveness. Proceedings of the 36th International Conference on Software Engineering (ICSE 2014). ACM. https://doi.org/10.1145/2568225.2568271 (Prosiding)
[9] Luo, Q., Hariri, F., Eloussi, L., & Marinov, D. (2014). An Empirical Analysis of Flaky Tests. Proceedings of the 22nd ACM SIGSOFT International Symposium on Foundations of Software Engineering (FSE 2014). ACM. https://doi.org/10.1145/2635868.2635920 (Prosiding)
[10] Yuan, D., Luo, Y., Zhuang, X., Rodrigues, G. R., Zhao, X., Zhang, Y., Jain, P. U., & Stumm, M. (2014). Simple Testing Can Prevent Most Critical Failures: An Analysis of Production Failures in Distributed Data-Intensive Systems. Proceedings of the 11th USENIX Symposium on Operating Systems Design and Implementation (OSDI '14). USENIX. https://www.usenix.org/conference/osdi14/technical-sessions/presentation/yuan (Prosiding)
[11] Wacker, M. (2015, 22 April). Just Say No to More End-to-End Tests. Google Testing Blog. https://testing.googleblog.com/2015/04/just-say-no-to-more-end-to-end-tests.html (Dokumen resmi)
[12] Capgemini, Sogeti, & HP. (2015, September). World Quality Report 2015-16. Capgemini (salinan PDF di asktester.com). https://asktester.com/wp-content/up...uality_report_2015_16_capgemini_hp_sogeti.pdf (Laporan)
[13] International Software Testing Qualifications Board. (2016). ISTQB Worldwide Software Testing Practices Report 2015-2016. ISTQB. https://istqb.org/istqb-worldwide-software-testing-practices-report/ (Laporan)
[14] Ariyanti, F. (2015, 31 Maret). Pengguna SPT Online Membludak, Wajib Pajak Susah Akses e-Filing?. Liputan6.com. https://www.liputan6.com/bisnis/rea...ne-membludak-wajib-pajak-susah-akses-e-filing (Berita)
[15] Hawari, M. R. T. F., Kusumo, D. S., & Firdaus, Y. (2015, 1 April). Pengujian Tingkat Komponen dan Implementasi Pengujian Mutasi pada Aplikasi Berbasis Web: Studi Kasus Aplikasi General Reporting Universitas Telkom. eProceedings of Engineering, Universitas Telkom (terindeks Garuda). https://garuda.kemdiktisaintek.go.id/documents/detail/3388088 (Prosiding)
 
Terakhir diedit: