Satu Field yang Tak Pernah Diuji: CrowdStrike, Tes Buatan AI, dan Nasib QA

  • Hello guys, isi postingan akan diubah/diupdate secara berkala mengikuti perkembangan, atau jika ada penambahan data/informasi. Terima kasih telah membaca.

khairul

Member
Okt 13, 2010
195
1
18
Indonesia
Jumat, 19 Juli 2024. Penumpang C****ink dan AirAsia Indonesia diminta datang lebih awal ke bandara karena sistem reservasi, check-in, dan boarding terganggu. Petugas akhirnya melayani penumpang secara manual [1]. Penyebabnya bukan peretas, melainkan pembaruan konten sensor Falcon dari perusahaan keamanan siber CrowdStrike yang membuat komputer Windows crash. Microsoft memperkirakan 8,5 juta perangkat terdampak, kurang dari satu persen seluruh mesin Windows [2].

Laporan akar masalah CrowdStrike memuat detail yang membuat orang QA meringis. Template baru mendefinisikan 21 field input, tetapi kode sensor hanya mengirim 20. Selama pengujian, field ke-21 selalu diisi kriteria wildcard, sehingga cacat itu tidak pernah muncul sampai konten yang benar-benar memakai field tersebut dikirim ke jutaan mesin [3]. Menurut saya, inilah wajah periode 2021-2025: alat uji makin pintar, tetapi celah terbesar tetap ada di skenario yang tidak pernah terpikir untuk diuji.

Dari Skrip Rapuh ke Janji AI: Masalah Lama yang Belum Selesai​


Memasuki 2021, otomasi tes sudah lumrah, tetapi pemeliharaannya tetap mahal. World Quality Report 2024-25 mencatat rata-rata tingkat otomasi tes global baru naik bertahap ke 44 persen. Sebanyak 64 persen responden menyebut arsitektur lama sebagai salah satu dari tiga hambatan utama untuk memasukkan otomasi ke pipeline DevOps [4]. Dua jalan keluar menjadi tren: alat otomasi browser generasi baru, lalu model bahasa besar (LLM) yang dijanjikan bisa menulis tes sendiri.

Kronologi: Lima Tahun yang Mengubah Cara Menguji​


2021-2022: Selenium 4 dan Kebangkitan Playwright​


Pada 13 Oktober 2021, Selenium 4 dirilis untuk Java, .NET, Python, Ruby, dan JavaScript. Tim Selenium menjanjikan upgrade yang "drop-in" dari versi 3. Rilis ini membawa relative locators dan Selenium Grid yang dibangun ulang, kini bisa berjalan terdistribusi di Kubernetes dan mengelola container Docker [5].

Di saat yang sama, Playwright buatan Microsoft mulai dilirik sebagai alternatif. Makalah mahasiswa Universitas Islam Indonesia (Januari 2022) menguji Playwright pada sistem manajemen jaringan di PT Javan Cipta Solusi. Proses Create Link lulus uji 100 persen, dan fitur Codegen yang merekam aktivitas penguji lalu menghasilkan skrip dinilai sangat membantu. Temuannya menarik: Playwright lebih cocok bagi penguji yang baru mengenal otomasi, sementara Selenium lebih mudah bagi penguji berpengalaman dengan kemampuan pemrograman kuat [6].

2023-2024: LLM Mulai Menulis Unit Test​


Riset bergerak cepat. Tim Schäfer dan rekan (makalahnya terbit di IEEE Transactions on Software Engineering edisi Januari 2024) membangun TestPilot, alat yang meminta gpt-3.5-turbo menulis unit test JavaScript berdasarkan signature fungsi, implementasi, dan contoh dokumentasi. Pada 25 paket npm dengan 1.684 fungsi API, tes yang dihasilkan mencapai median statement coverage 70,2 persen dan branch coverage 52,8 persen. Alat pembanding Nessie hanya mencapai 51,3 dan 25,6 persen [7]. Survei Wang dan rekan menghimpun 102 studi penggunaan LLM untuk pengujian, dengan persiapan kasus uji dan perbaikan program sebagai tugas yang paling banyak diteliti [8].

Meta lalu membawanya ke industri. TestGen-LLM direncanakan sejak musim semi 2023 dan dipakai dalam test-a-thon Instagram dan Facebook. Hasil evaluasinya jujur: dari kelas tes Reels dan Stories, 75 persen mendapat setidaknya satu tes baru yang bisa di-build, 57 persen mendapat tes yang juga lulus secara konsisten, dan hanya 25 persen yang benar-benar bertambah coverage-nya. Saat dipakai, alat ini memperbaiki 11,5 persen kelas yang disentuhnya, dan 73 persen rekomendasinya diterima engineer Meta [9].

2024: Tahun Adopsi, Tahun Insiden​


Survei Stack Overflow 2024 mencatat 76 persen responden memakai atau berencana memakai alat AI dalam pengembangan. Developer yang belum memakai AI paling penasaran menggunakannya untuk testing (46 persen), dan 80 persen memperkirakan AI akan makin terintegrasi dalam testing pada tahun berikutnya. Soal kepercayaan, suara terbelah: 43 persen yakin pada akurasi AI, 31 persen skeptis [10].

World Quality Report 2024-25, berbasis 1.775 profesional quality engineering di 33 negara, menyebut 68 persen organisasi sudah memakai GenAI atau sedang menyusun roadmap setelah pilot. Hanya 4 persen yang tidak menjajakinya, turun dari 31 persen setahun sebelumnya [4].

Februari 2024, Indonesia mendapat pelajaran sendiri lewat Sirekap Pemilu 2024, lalu Juli 2024 dunia menyaksikan insiden CrowdStrike. Keduanya dibahas lebih rinci di bawah.

Dampak: Siapa yang Merasakan, Dulu dan Kini​


Industri: Biaya Satu Pembaruan​


Ironisnya, tipe template yang bermasalah itu sudah ada sejak sensor versi 7.11 dirilis pada Februari 2024. Ia sempat beberapa kali dikirim ke lapangan tanpa insiden karena konten awalnya juga memakai wildcard di field ke-21. Lapisan terakhir, Content Validator, ternyata punya kesalahan logika sendiri, sehingga konten yang cacat tetap diloloskan [3].

Perusahaan asuransi Parametrix memperkirakan insiden CrowdStrike menimbulkan kerugian langsung 5,4 miliar dolar bagi perusahaan Fortune 500 di AS di luar Microsoft. Bagian yang ditanggung asuransi diperkirakan hanya 540 juta hingga 1,08 miliar dolar [11]. Sebagai respons, CrowdStrike menambahkan tes dengan kriteria non-wildcard untuk setiap field, fuzz testing, serta staged deployment bertahap lewat canary dan ring. CrowdStrike juga melibatkan dua vendor independen untuk meninjau kode dan proses kualitasnya [3].

Developer dan Tester: Peran yang Bergeser​


Laporan DORA 2024, yang kini mencakup data lebih dari 39.000 profesional sepanjang satu dekade, menemukan hal yang mengejutkan para penelitinya sendiri. Setiap kenaikan 25 persen adopsi AI diperkirakan menurunkan throughput pengiriman software 1,5 persen dan stabilitas pengiriman 7,2 persen. DORA menilai perbaikan proses pengembangan tidak otomatis memperbaiki pengiriman tanpa dasar-dasar seperti batch kecil dan mekanisme pengujian yang kuat [12].

Bagi tester, WQR 2024-25 mencatat pergeseran keahlian. Keahlian coding dan orkestrasi CI/CD kini justru berada di peringkat terbawah (57 dan 48 persen), sementara quality engineering (70 persen) serta AI/ML dan GenAI (66 persen) naik ke atas. Penggunaan Testing Center of Excellence tradisional juga turun dari 70 persen menjadi 27 persen responden, walau laporan itu mengakui angka tahun sebelumnya kemungkinan terlalu tinggi karena perbedaan tafsir [4].

Indonesia: Sirekap dan Pelajaran OCR​


Pada 15 Februari 2024, Ketua KPU Hasyim Asy'ari menyebut ada 2.325 TPS yang mengalami salah konversi formulir C1-Plano di Sirekap. Formulir difoto petugas KPPS lewat aplikasi, lalu sistem membaca angkanya secara otomatis, dan di situlah selisih muncul. KPU menegaskan Sirekap adalah alat bantu dan publikasi, sementara rekapitulasi resmi tetap dilakukan berjenjang [13].

Di sidang Mahkamah Konstitusi (April 2024), ahli yang dihadirkan KPU, Marsudi Wahyu Kisworo, menjelaskan tiga sumber masalah OCR: tulisan tangan petugas di sekitar 822.000 TPS yang berbeda-beda, kualitas kamera ponsel yang beragam, dan kondisi kertas formulir, misalnya terlipat. Ia menyebut akurasi tertinggi OCR berkisar 92,93 persen [14]. Menurut saya, tiga variabel itu adalah daftar skenario uji lapangan yang semestinya dicoba seluas mungkin sebelum hari pemungutan suara. Data publik soal seberapa luas uji coba Sirekap dilakukan tidak saya temukan.

Data resmi tentang adopsi AI untuk testing di perusahaan Indonesia juga belum saya temukan. Bukti yang tersedia lebih banyak berupa studi kasus kampus dan magang seperti makalah Playwright di atas [6].

Kritik: Yang Lolos Tes Belum Tentu Teruji​


Menurut saya, ada empat catatan kritis dari periode ini:
  • Tes lulus bukan berarti cakupan cukup. Otomasi CrowdStrike memakai 12 kasus uji statis yang dipilih manual, dan semuanya memakai wildcard di field yang ternyata bermasalah [3].
  • Tes buatan AI masih perlu disaring. Di Meta, hanya seperempat kelas tes yang mendapat tambahan coverage [9], dan responden WQR menyebut halusinasi sebagai risiko GenAI ketiga terbesar (47 persen), di bawah kebocoran data (58 persen) [4].
  • Lebih cepat belum tentu lebih stabil. Temuan DORA 2024 soal turunnya stabilitas seiring adopsi AI adalah peringatan bagi tim yang mengukur sukses dari jumlah kode yang dihasilkan [12].
  • Janji AI belum sejalan dengan prioritas. Di WQR 2024-25, pembuatan skrip otomasi (46 persen) dan pembuatan kasus uji (45 persen) justru menjadi use case GenAI yang paling kecil kemungkinannya diterapkan, bertolak belakang dengan narasi pemasaran [4].
Supaya adil, ada kemajuan nyata. CrowdStrike membuka analisis teknis yang rinci dan mengubah proses rilisnya [3]. Pendekatan Meta yang hanya menerima tes setelah lolos filter build, kelulusan, dan coverage menunjukkan AI bisa dipakai tanpa menurunkan standar [9].

Epilog: Yang Tersisa Memasuki 2026​


Laporan DORA 2025 (September 2025), berbasis hampir 5.000 profesional, menutup periode ini dengan angka 90 persen responden memakai AI di tempat kerja. Namun 30 persen masih sedikit atau sama sekali tidak percaya pada kode buatan AI. Adopsi AI kini berkaitan dengan throughput yang lebih baik, tetapi tetap meningkatkan ketidakstabilan pengiriman. DORA menyebut AI sebagai "amplifier" yang memperbesar kekuatan sekaligus kelemahan organisasi [15].

Jika dilihat sekarang, yang tersisa setelah hype adalah pengujian sebagai rem dan sabuk pengaman: batch kecil, rilis bertahap, kemampuan rollback, dan tes yang sengaja mencari kasus aneh [15] [3]. AI mempercepat penulisan tes, tetapi keputusan tentang apa yang layak diuji tetap pekerjaan manusia.

Refleksi: Menguji yang Tidak Terbayangkan​


Menurut saya, pelajaran terbesar periode ini adalah kerendahan hati. CrowdStrike lolos sertifikasi dan stress test, Sirekap punya rekapitulasi manual sebagai cadangan, dan Meta menyaring sebagian besar tes buatan AI-nya sendiri. Semuanya menunjukkan bahwa kualitas lahir dari pertanyaan "bagaimana kalau", bukan dari jumlah tes yang hijau [3] [13] [9].

Bagi mahasiswa dan developer pemula, pakailah AI untuk menulis kerangka tes, tetapi biasakan bertanya kasus apa yang belum tercakup, lalu tulis sendiri tes untuk kasus itu.

Pertanyaan untuk teman-teman forum: di tim kalian, sudahkah tes buatan AI ikut masuk pipeline, dan siapa yang memastikan tes itu menguji hal yang benar, bukan sekadar menambah angka coverage?

Referensi​


[1] Dewi, F. S. (2024, 19 Juli). Layanan C****ink hingga AirAsia Alami Gangguan, Imbas Microsoft Down. Bisnis.com. https://ekonomi.bisnis.com/read/202...a-airasia-alami-gangguan-imbas-microsoft-down (Berita)
[2] Weston, D. (2024, 20 Juli). Helping our customers through the CrowdStrike outage. The Official Microsoft Blog. https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/ (Dokumen resmi)
[3] CrowdStrike. (2024, 6 Agustus). External Technical Root Cause Analysis: Channel File 291. CrowdStrike. https://www.crowdstrike.com/wp-cont...1-Incident-Root-Cause-Analysis-08.06.2024.pdf (Dokumen resmi)
[4] OpenText, Capgemini, & Sogeti. (2024). World Quality Report 2024-25: New Futures in Focus (16th Edition). Capgemini. https://www.capgemini.com/wp-content/uploads/2024/10/WQR-24-MAIN-REPORT-CG.pdf (Laporan)
[5] Stewart, S. (2021, 13 Oktober). Announcing Selenium 4. Selenium Project. https://www.selenium.dev/blog/2021/announcing-selenium-4/ (Dokumen resmi)
[6] Amalia, A., & Cahyono, A. B. (2022, 21 Januari). Analisis Pemanfaatan Playwright untuk Automasi Pengujian Aplikasi Berbasis Web (Studi Kasus: Sistem Manajemen Jaringan). AUTOMATA, 3(1). Universitas Islam Indonesia. https://journal.uii.ac.id/AUTOMATA/article/view/21896 (Jurnal)
[7] Schäfer, M., Nadi, S., Eghbali, A., & Tip, F. (2024). An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation. IEEE Transactions on Software Engineering, 50(1). IEEE. https://doi.org/10.1109/TSE.2023.3334955 (Jurnal)
[8] Wang, J., Huang, Y., Chen, C., Liu, Z., Wang, S., & Wang, Q. (2024). Software Testing With Large Language Models: Survey, Landscape, and Vision. IEEE Transactions on Software Engineering, 50(4), 911-936. IEEE. https://doi.org/10.1109/TSE.2024.3368208 (Jurnal)
[9] Alshahwan, N., Chheda, J., Finogenova, A., Gokkaya, B., Harman, M., Harper, I., Marginean, A., Sengupta, S., & Wang, E. (2024). Automated Unit Test Improvement using Large Language Models at Meta. Companion Proceedings of the 32nd ACM International Conference on the Foundations of Software Engineering (FSE Companion '24). ACM. https://doi.org/10.1145/3663529.3663839 (Prosiding)
[10] Stack Overflow. (2024). 2024 Developer Survey: AI. Stack Overflow. https://survey.stackoverflow.co/2024/ai (Laporan)
[11] Cohn, C. (2024, 24 Juli). Fortune 500 firms to see $5.4 bln in CrowdStrike losses, says insurer Parametrix. Reuters. https://www.reuters.com/technology/...ke-losses-says-insurer-parametrix-2024-07-24/ (Berita)
[12] DORA. (2024). Accelerate State of DevOps Report 2024. Google Cloud. https://dora.dev/research/2024/dora-report/2024-dora-accelerate-state-of-devops-report.pdf (Laporan)
[13] Sinambela, N. M. (2024, 15 Februari). KPU: Ada 2.325 tps alami salah konversi Formulir C. Hasil Pemilu 2024. ANTARA News. https://www.antaranews.com/berita/3...i-salah-konversi-formulir-c-hasil-pemilu-2024 (Berita)
[14] Fajarihza, R. F. (2024, 3 April). Sidang Sengketa Pilpres: Ahli KPU Beberkan 3 Sumber Masalah Data Sirekap. Bisnis.com. https://kabar24.bisnis.com/read/202...li-kpu-beberkan-3-sumber-masalah-data-sirekap (Berita)
[15] DORA. (2025). State of AI-assisted Software Development (2025 DORA Report). Google Cloud. https://dora.dev/research/2025/dora-report/ (Laporan)
 
Terakhir diedit: