Akhir pekan 20-22 April 2018, bank Inggris TSB memindahkan 1,3 miliar catatan nasabah dari sistem lama Lloyds ke platform baru buatan induknya, Banco Sabadell. Senin paginya, 1,9 juta nasabah internet dan mobile banking kesulitan masuk ke akun. Sebagian mengeluh melihat transaksi yang tidak pernah mereka lakukan, sebagian lagi mengaku bisa melihat akun orang lain. Ironisnya, Sabadell sempat merilis siaran pers bahwa migrasi teknologi TSB "successfully completed" [1].
Tinjauan independen Slaughter and May (November 2019) menyimpulkan platform itu belum siap karena belum cukup diuji. Saat go-live, ada sekitar 2.000 cacat terkait pengujian, padahal dewan direksi hanya diberi tahu sekitar 800. Dua pusat data yang seharusnya identik ternyata dikonfigurasi berbeda [2]. Menurut saya, TSB adalah potret periode 2016-2020: rilis makin sering, sistem makin besar, dan produksi diam-diam menjadi lingkungan uji terakhir.
Paradoksnya, uang untuk QA justru menyusut. World Quality Report 2019-20, survei Capgemini, Sogeti, dan Micro Focus terhadap 1.725 eksekutif TI di 32 negara, mencatat porsi anggaran TI untuk QA dan testing turun dari 35 persen (2015) menjadi 23 persen (2019). Laporan itu tidak membacanya sebagai tanda QA makin tidak penting. Penyebab yang disebut antara lain efisiensi cloud dan virtualisasi, QA yang makin melebur ke tim agile dan DevOps, cacat yang ditemukan lebih awal, serta otomasi tes. Laporan yang sama juga mengakui pertanyaan apakah anggaran testing benar-benar terlacak dengan baik belum terjawab [3].
Jadi tes tidak hilang. Ia pindah tangan, dari tim QA terpisah ke pipeline CI milik developer, dan pada titik ekstrem, ke sistem produksi itu sendiri.
Pada Mei 2016, John Micco dari Google membuka angka yang jarang diakui perusahaan besar. Sekitar 1,5 persen dari seluruh eksekusi tes di Google memberi hasil flaky, yaitu lulus dan gagal pada kode yang sama. Hampir 16 persen tes punya tingkat flakiness tertentu, dan sekitar 84 persen transisi dari lulus ke gagal di sistem CI melibatkan tes flaky. Akibatnya, kegagalan yang sungguhan pun sering diabaikan [4].
Di bulan yang sama, tim Netflix menulis di IEEE Software tentang chaos engineering. Chaos Monkey mematikan instance produksi secara acak pada jam kerja, sementara latihan Chaos Kong mensimulasikan matinya satu region Amazon EC2. Mereka merumuskan empat prinsip, salah satunya menjalankan eksperimen di produksi. Alasannya jujur: di Netflix, arsitektur lengkapnya mustahil direproduksi untuk tes end-to-end [5].
Makalah Memon dan rekan di ICSE 2017 menggambarkan skala pengujian Google. Setiap hari, sistem TAP mengintegrasikan dan menguji lebih dari 13 ribu proyek, dengan 800 ribu build dan 150 juta eksekusi tes. Rata-rata ada satu commit per detik. Dari 5,5 juta tes terdampak yang dianalisis, hanya 63 ribu yang pernah gagal, sehingga menjalankan semuanya dengan frekuensi sama adalah pemborosan [6].
Facebook mengambil jalan lain: membiarkan mesin merancang tes. Sapienz, alat pengujian berbasis search-based software engineering, dipakai di produksi sejak September 2017 untuk menguji aplikasi Android Facebook yang berisi jutaan baris kode. Laporan Sapienz dilengkapi stack trace dan video saat crash terjadi, dan sekitar 75 persen crash yang dilaporkannya diperbaiki developer. Angka itu disebut sebagai batas bawah [7].
Pada 5 Juni 2018, W3C menetapkan WebDriver sebagai Recommendation. Spesifikasi yang diturunkan dari Selenium WebDriver ini kini menjadi protokol standar, netral platform dan bahasa, untuk mengendalikan browser dari program lain [8].
Pada 29 Oktober 2018, Lion Air JT610, sebuah Boeing 737-8 (MAX), jatuh di perairan Tanjung Karawang tak lama setelah lepas landas dari Jakarta. Seluruh 189 orang di dalamnya meninggal [9]. Laporan akhir KNKT (Oktober 2019) mencatat sembilan faktor yang berkontribusi. Sebagian di antaranya adalah persoalan rekayasa dan pengujian: asumsi soal respons pilot saat desain dan sertifikasi ternyata keliru, MCAS bergantung pada satu sensor angle of attack (AOA), dan peringatan AOA DISAGREE tidak diaktifkan dengan benar selama pengembangan [10].
Laporan Komite Transportasi DPR AS (September 2020) menambahkan detail yang menyakitkan bagi orang QA. Pada Juli 2015, Boeing menguji software yang mengaitkan peringatan AOA DISAGREE dengan indikator AOA opsional, dan gagal mendeteksi masalahnya. Akibatnya, peringatan itu tidak berfungsi di lebih dari 80 persen pesawat MAX. Boeing baru menyadarinya pada Agustus 2017, lalu menunda perbaikan software hingga 2020 [11].
Laporan Accelerate State of DevOps 2019 dari DORA dan Google Cloud, berbasis enam tahun riset dengan lebih dari 31.000 responden, mencatat porsi tim berkinerja elite hampir tiga kali lipat menjadi 20 persen. Tahun itu mereka juga menemukan bahwa tes otomatis berdampak positif pada continuous integration [12].
Februari 2020 memberi contoh sebaliknya. Aplikasi pelaporan hasil kaukus Partai Demokrat di Iowa buatan Shadow Inc., yang dibangun dalam sekitar dua bulan dengan bayaran kira-kira 63.000 dolar, gagal di malam penghitungan. Ketua partai di Iowa menyebut ada "coding issue": data terekam benar, tetapi hanya sebagian yang dilaporkan. Verifikasi hasil akhirnya bergantung pada dokumentasi kertas yang diwajibkan [13].
Pada periode ini, kegagalan pengujian berujung di ruang investigasi negara. TSB harus membayar kompensasi ratusan juta pound, dan CEO-nya mundur beberapa bulan setelah insiden [2]. Kasus 737 MAX memicu investigasi KNKT dan Kongres AS [10] [11]. Di sisi lain, perusahaan dengan pipeline matang memperlihatkan bahwa kecepatan dan stabilitas bisa berjalan bersama [12].
Bagi developer, tes otomatis sudah menjadi bagian dari CI, bukan pekerjaan tambahan [12]. Bagi tester, tuntutannya bergeser. WQR 2019-20 menyebut kebutuhan keahlian baru: otomasi, keahlian S-DET (software development engineering testing), hingga data science untuk pengujian berbasis AI [3]. Jika dilihat sekarang, tester yang hanya menjalankan skrip manual adalah kelompok yang paling terdampak oleh pergeseran ini.
Bagi Indonesia, dampak paling berat datang dari JT610. Selain persoalan desain, KNKT menemukan sensor AOA pengganti salah dikalibrasi saat diperbaiki sebelumnya dan tidak dapat dipastikan apakah tes pemasangannya dilakukan dengan benar [10]. Kompas merangkumnya lebih lugas: sensor itu salah dikalibrasi oleh bengkel di Florida dan terindikasi kuat tidak diuji coba sebelum dipasang [9]. Rantai kegagalannya melintasi dua negara, dari desain di pabrikan sampai tes pemasangan di hanggar.
Di kampus, alat otomasi mulai dipakai untuk mengukur aplikasi lokal. Tim Politeknik Negeri Bandung (Agustus 2019) memakai Katalon untuk menguji response time halaman Bukalapak, JD.ID, dan Tokopedia, dari membuka situs, login, mencari produk, sampai memasukkan barang ke keranjang. Bukalapak tercatat paling cepat secara keseluruhan, walau tidak di semua halaman [14].
Menurut saya, ada empat catatan kritis dari periode ini:
Pada Desember 2022, FCA mendenda TSB 29,75 juta pound. Final Notice FCA mencatat pengujian baru selesai sehari sebelum keputusan migrasi diambil. Sekitar akhir Februari 2018, cakupan tes non-fungsional kanal digital pada konfigurasi Active-Active dipangkas di luar forum tata kelola yang semestinya. Menurut FCA, jika tes itu dijalankan, masalah konfigurasi di pusat data kemungkinan besar akan ditemukan [15].
Jika dilihat sekarang, warisan 2016-2020 adalah kesadaran bahwa pengujian bukan satu tahap, melainkan rangkaian sinyal: tes unit di CI, tes buatan mesin, eksperimen chaos, dan pemantauan produksi [6] [7] [5]. Masalahnya, rangkaian itu hanya berguna jika hasilnya didengar sebelum tombol go-live ditekan.
Menurut saya, pelajaran terbesar periode ini bukan soal alat. Google, Facebook, dan Netflix punya alat canggih, tetapi TSB, Boeing, dan Shadow juga punya tim uji. Yang membedakan adalah apakah hasil tes yang buruk berani dilaporkan apa adanya dan dipakai untuk menunda rilis [2] [11].
Bagi mahasiswa dan developer pemula, latihlah dua kebiasaan sejak awal: catat setiap asumsi dalam desain lalu cari cara mengujinya, dan jangan pernah melaporkan "800 cacat" kalau yang sebenarnya jauh lebih banyak.
Pertanyaan untuk teman-teman forum: di tim kalian, kalau tes menunjukkan sistem belum siap tetapi tanggal rilis sudah diumumkan, siapa yang berani bilang "tunda dulu", dan apakah suaranya benar-benar didengar?
[1] Collinson, P. (2018, 23 April). TSB online banking failure prompts complaints. The Guardian. https://www.theguardian.com/business/2018/apr/23/tsb-online-banking-failure-prompts-complaints (Berita)
[2] Hall, K. (2019, 19 November). 'Big Bang': Great for creating the universe, but not as an approach to IT migration, TSB told. The Register. https://www.theregister.com/2019/11..._bang_it_approach_behind_disastrous_migration (Berita)
[3] Capgemini, Sogeti, & Micro Focus. (2019). World Quality Report 2019-20 (Eleventh Edition). Capgemini. https://www.capgemini.com/es-es/wp-content/uploads/sites/16/2022/12/World-Quality-Report-2019-20.pdf (Laporan)
[4] Micco, J. (2016, 27 Mei). Flaky Tests at Google and How We Mitigate Them. Google Testing Blog. https://testing.googleblog.com/2016/05/flaky-tests-at-google-and-how-we.html (Dokumen resmi)
[5] Basiri, A., Behnam, N., de Rooij, R., Hochstein, L., Kosewski, L., Reynolds, J., & Rosenthal, C. (2016). Chaos Engineering. IEEE Software, 33(3), 35-41. IEEE Computer Society. https://doi.org/10.1109/MS.2016.60 (Jurnal)
[6] Memon, A., Gao, Z., Nguyen, B., Dhanda, S., Nickell, E., Siemborski, R., & Micco, J. (2017). Taming Google-Scale Continuous Testing. Proceedings of the 39th International Conference on Software Engineering: Software Engineering in Practice Track (ICSE-SEIP '17), 233-242. IEEE. https://doi.org/10.1109/ICSE-SEIP.2017.16 (Prosiding)
[7] Alshahwan, N., Gao, X., Harman, M., Jia, Y., Mao, K., Mols, A., Tei, T., & Zorin, I. (2018). Deploying Search Based Software Engineering with Sapienz at Facebook. Proceedings of the 10th International Symposium on Search Based Software Engineering (SSBSE 2018), 3-45. Springer. https://doi.org/10.1007/978-3-319-99241-9_1 (Prosiding)
[8] W3C Browser Testing and Tools Working Group. (2018, 5 Juni). WebDriver: W3C Recommendation. World Wide Web Consortium. https://www.w3.org/TR/webdriver1/ (Dokumen resmi)
[9] Nistanto, R. K. (2019, 25 Oktober). KNKT Terbitkan Laporan Lion Air JT610, Ungkap Penyebab Kecelakaan. Kompas.com. https://tekno.kompas.com/read/2019/...ran-lion-air-jt610-ungkap-penyebab-kecelakaan (Berita)
[10] Komite Nasional Keselamatan Transportasi. (2019, Oktober). Final Report: PT. Lion Mentari Airlines Boeing 737-8 (MAX) PK-LQP, Tanjung Karawang, West Java, 29 October 2018 (KNKT.18.10.33.04). KNKT. https://knkt.go.id/Repo/Files/Laporan/Penerbangan/2018/KNKT.18.10.33.04-Final-Report.pdf (Laporan)
[11] House Committee on Transportation and Infrastructure (Majority Staff). (2020, September). Final Committee Report: The Design, Development & Certification of the Boeing 737 MAX. U.S. House of Representatives. https://democrats-transportation.ho...5 FINAL 737 MAX Report for Public Release.pdf (Laporan)
[12] Forsgren, N., Smith, D., Humble, J., & Frazelle, J. (2019). 2019 Accelerate State of DevOps Report. DORA dan Google Cloud. https://dora.dev/research/2019/dora-report/2019-dora-accelerate-state-of-devops-report.pdf (Laporan)
[13] Heater, B. (2020, 4 Februari). A results reporting app by Shadow Inc. takes center stage at chaotic Iowa caucuses. TechCrunch. https://techcrunch.com/2020/02/04/a...-takes-center-stage-at-chaotic-iowa-caucuses/ (Berita)
[14] Muhtadi, M. M., Friyadi, M. D., & Rahmani, A. (2019, 30 Agustus). Analisis GUI Testing pada Aplikasi E-Commerce menggunakan Katalon. Prosiding Industrial Research Workshop and National Seminar (IRWNS), 10(1). Politeknik Negeri Bandung. https://jurnal.polban.ac.id/proceeding/article/view/1443 (Prosiding)
[15] Financial Conduct Authority. (2022, 20 Desember). Final Notice: TSB Bank plc. FCA. https://www.fca.org.uk/publication/final-notices/tsb-bank-plc-2022.pdf (Dokumen resmi)
Tinjauan independen Slaughter and May (November 2019) menyimpulkan platform itu belum siap karena belum cukup diuji. Saat go-live, ada sekitar 2.000 cacat terkait pengujian, padahal dewan direksi hanya diberi tahu sekitar 800. Dua pusat data yang seharusnya identik ternyata dikonfigurasi berbeda [2]. Menurut saya, TSB adalah potret periode 2016-2020: rilis makin sering, sistem makin besar, dan produksi diam-diam menjadi lingkungan uji terakhir.
Latar Belakang: Anggaran QA Turun, Taruhannya Naik
Paradoksnya, uang untuk QA justru menyusut. World Quality Report 2019-20, survei Capgemini, Sogeti, dan Micro Focus terhadap 1.725 eksekutif TI di 32 negara, mencatat porsi anggaran TI untuk QA dan testing turun dari 35 persen (2015) menjadi 23 persen (2019). Laporan itu tidak membacanya sebagai tanda QA makin tidak penting. Penyebab yang disebut antara lain efisiensi cloud dan virtualisasi, QA yang makin melebur ke tim agile dan DevOps, cacat yang ditemukan lebih awal, serta otomasi tes. Laporan yang sama juga mengakui pertanyaan apakah anggaran testing benar-benar terlacak dengan baik belum terjawab [3].
Jadi tes tidak hilang. Ia pindah tangan, dari tim QA terpisah ke pipeline CI milik developer, dan pada titik ekstrem, ke sistem produksi itu sendiri.
Kronologi: Lima Tahun Tes Bergeser ke Kanan dan ke Kiri
2016: Tes yang Tidak Bisa Dipercaya, Kekacauan yang Disengaja
Pada Mei 2016, John Micco dari Google membuka angka yang jarang diakui perusahaan besar. Sekitar 1,5 persen dari seluruh eksekusi tes di Google memberi hasil flaky, yaitu lulus dan gagal pada kode yang sama. Hampir 16 persen tes punya tingkat flakiness tertentu, dan sekitar 84 persen transisi dari lulus ke gagal di sistem CI melibatkan tes flaky. Akibatnya, kegagalan yang sungguhan pun sering diabaikan [4].
Di bulan yang sama, tim Netflix menulis di IEEE Software tentang chaos engineering. Chaos Monkey mematikan instance produksi secara acak pada jam kerja, sementara latihan Chaos Kong mensimulasikan matinya satu region Amazon EC2. Mereka merumuskan empat prinsip, salah satunya menjalankan eksperimen di produksi. Alasannya jujur: di Netflix, arsitektur lengkapnya mustahil direproduksi untuk tes end-to-end [5].
2017-2018: Skala Google, Mesin Penguji Facebook, dan Standar W3C
Makalah Memon dan rekan di ICSE 2017 menggambarkan skala pengujian Google. Setiap hari, sistem TAP mengintegrasikan dan menguji lebih dari 13 ribu proyek, dengan 800 ribu build dan 150 juta eksekusi tes. Rata-rata ada satu commit per detik. Dari 5,5 juta tes terdampak yang dianalisis, hanya 63 ribu yang pernah gagal, sehingga menjalankan semuanya dengan frekuensi sama adalah pemborosan [6].
Facebook mengambil jalan lain: membiarkan mesin merancang tes. Sapienz, alat pengujian berbasis search-based software engineering, dipakai di produksi sejak September 2017 untuk menguji aplikasi Android Facebook yang berisi jutaan baris kode. Laporan Sapienz dilengkapi stack trace dan video saat crash terjadi, dan sekitar 75 persen crash yang dilaporkannya diperbaiki developer. Angka itu disebut sebagai batas bawah [7].
Pada 5 Juni 2018, W3C menetapkan WebDriver sebagai Recommendation. Spesifikasi yang diturunkan dari Selenium WebDriver ini kini menjadi protokol standar, netral platform dan bahasa, untuk mengendalikan browser dari program lain [8].
2018-2019: Ketika Asumsi Tidak Pernah Diuji
Pada 29 Oktober 2018, Lion Air JT610, sebuah Boeing 737-8 (MAX), jatuh di perairan Tanjung Karawang tak lama setelah lepas landas dari Jakarta. Seluruh 189 orang di dalamnya meninggal [9]. Laporan akhir KNKT (Oktober 2019) mencatat sembilan faktor yang berkontribusi. Sebagian di antaranya adalah persoalan rekayasa dan pengujian: asumsi soal respons pilot saat desain dan sertifikasi ternyata keliru, MCAS bergantung pada satu sensor angle of attack (AOA), dan peringatan AOA DISAGREE tidak diaktifkan dengan benar selama pengembangan [10].
Laporan Komite Transportasi DPR AS (September 2020) menambahkan detail yang menyakitkan bagi orang QA. Pada Juli 2015, Boeing menguji software yang mengaitkan peringatan AOA DISAGREE dengan indikator AOA opsional, dan gagal mendeteksi masalahnya. Akibatnya, peringatan itu tidak berfungsi di lebih dari 80 persen pesawat MAX. Boeing baru menyadarinya pada Agustus 2017, lalu menunda perbaikan software hingga 2020 [11].
2019-2020: DevOps Matang, Aplikasi Darurat Tumbang
Laporan Accelerate State of DevOps 2019 dari DORA dan Google Cloud, berbasis enam tahun riset dengan lebih dari 31.000 responden, mencatat porsi tim berkinerja elite hampir tiga kali lipat menjadi 20 persen. Tahun itu mereka juga menemukan bahwa tes otomatis berdampak positif pada continuous integration [12].
Februari 2020 memberi contoh sebaliknya. Aplikasi pelaporan hasil kaukus Partai Demokrat di Iowa buatan Shadow Inc., yang dibangun dalam sekitar dua bulan dengan bayaran kira-kira 63.000 dolar, gagal di malam penghitungan. Ketua partai di Iowa menyebut ada "coding issue": data terekam benar, tetapi hanya sebagian yang dilaporkan. Verifikasi hasil akhirnya bergantung pada dokumentasi kertas yang diwajibkan [13].
Dampak: Siapa yang Terkena, Dulu dan Sekarang
Industri dan Regulator
Pada periode ini, kegagalan pengujian berujung di ruang investigasi negara. TSB harus membayar kompensasi ratusan juta pound, dan CEO-nya mundur beberapa bulan setelah insiden [2]. Kasus 737 MAX memicu investigasi KNKT dan Kongres AS [10] [11]. Di sisi lain, perusahaan dengan pipeline matang memperlihatkan bahwa kecepatan dan stabilitas bisa berjalan bersama [12].
Developer dan Tester
Bagi developer, tes otomatis sudah menjadi bagian dari CI, bukan pekerjaan tambahan [12]. Bagi tester, tuntutannya bergeser. WQR 2019-20 menyebut kebutuhan keahlian baru: otomasi, keahlian S-DET (software development engineering testing), hingga data science untuk pengujian berbasis AI [3]. Jika dilihat sekarang, tester yang hanya menjalankan skrip manual adalah kelompok yang paling terdampak oleh pergeseran ini.
Indonesia: JT610 dan Katalon di Kampus
Bagi Indonesia, dampak paling berat datang dari JT610. Selain persoalan desain, KNKT menemukan sensor AOA pengganti salah dikalibrasi saat diperbaiki sebelumnya dan tidak dapat dipastikan apakah tes pemasangannya dilakukan dengan benar [10]. Kompas merangkumnya lebih lugas: sensor itu salah dikalibrasi oleh bengkel di Florida dan terindikasi kuat tidak diuji coba sebelum dipasang [9]. Rantai kegagalannya melintasi dua negara, dari desain di pabrikan sampai tes pemasangan di hanggar.
Di kampus, alat otomasi mulai dipakai untuk mengukur aplikasi lokal. Tim Politeknik Negeri Bandung (Agustus 2019) memakai Katalon untuk menguji response time halaman Bukalapak, JD.ID, dan Tokopedia, dari membuka situs, login, mencari produk, sampai memasukkan barang ke keranjang. Bukalapak tercatat paling cepat secara keseluruhan, walau tidak di semua halaman [14].
Kritik: Cepat Belum Tentu Teruji
Menurut saya, ada empat catatan kritis dari periode ini:
- Tes otomatis punya biaya tersembunyi. Tes flaky di Google menghasilkan alarm palsu dan menunda deteksi masalah nyata, sementara skala TAP memaksa Google memilih tes mana yang dijalankan [4] [6].
- "Uji di produksi" butuh kedewasaan. Netflix menjalankan chaos engineering dengan hipotesis dan eksperimen terkendali [5]. TSB dan Iowa justru menjadikan produksi tempat uji yang tidak direncanakan [2] [13].
- Asumsi juga harus diuji. Kasus MCAS menunjukkan software bisa lolos sertifikasi tetapi gagal karena asumsi tentang perilaku manusia keliru [10] [11].
- Otomasi dan AI belum sesuai janji. WQR 2019-20 mengakui otomasi tes tumbuh lebih lambat dari perkiraan, dan otomasi skenario bisnis end-to-end justru turun satu poin menjadi 15 persen pada 2018 [3].
Epilog: Yang Tersisa Setelah 2020
Pada Desember 2022, FCA mendenda TSB 29,75 juta pound. Final Notice FCA mencatat pengujian baru selesai sehari sebelum keputusan migrasi diambil. Sekitar akhir Februari 2018, cakupan tes non-fungsional kanal digital pada konfigurasi Active-Active dipangkas di luar forum tata kelola yang semestinya. Menurut FCA, jika tes itu dijalankan, masalah konfigurasi di pusat data kemungkinan besar akan ditemukan [15].
Jika dilihat sekarang, warisan 2016-2020 adalah kesadaran bahwa pengujian bukan satu tahap, melainkan rangkaian sinyal: tes unit di CI, tes buatan mesin, eksperimen chaos, dan pemantauan produksi [6] [7] [5]. Masalahnya, rangkaian itu hanya berguna jika hasilnya didengar sebelum tombol go-live ditekan.
Refleksi: Siapa yang Berhak Bilang Belum Siap
Menurut saya, pelajaran terbesar periode ini bukan soal alat. Google, Facebook, dan Netflix punya alat canggih, tetapi TSB, Boeing, dan Shadow juga punya tim uji. Yang membedakan adalah apakah hasil tes yang buruk berani dilaporkan apa adanya dan dipakai untuk menunda rilis [2] [11].
Bagi mahasiswa dan developer pemula, latihlah dua kebiasaan sejak awal: catat setiap asumsi dalam desain lalu cari cara mengujinya, dan jangan pernah melaporkan "800 cacat" kalau yang sebenarnya jauh lebih banyak.
Pertanyaan untuk teman-teman forum: di tim kalian, kalau tes menunjukkan sistem belum siap tetapi tanggal rilis sudah diumumkan, siapa yang berani bilang "tunda dulu", dan apakah suaranya benar-benar didengar?
Referensi
[1] Collinson, P. (2018, 23 April). TSB online banking failure prompts complaints. The Guardian. https://www.theguardian.com/business/2018/apr/23/tsb-online-banking-failure-prompts-complaints (Berita)
[2] Hall, K. (2019, 19 November). 'Big Bang': Great for creating the universe, but not as an approach to IT migration, TSB told. The Register. https://www.theregister.com/2019/11..._bang_it_approach_behind_disastrous_migration (Berita)
[3] Capgemini, Sogeti, & Micro Focus. (2019). World Quality Report 2019-20 (Eleventh Edition). Capgemini. https://www.capgemini.com/es-es/wp-content/uploads/sites/16/2022/12/World-Quality-Report-2019-20.pdf (Laporan)
[4] Micco, J. (2016, 27 Mei). Flaky Tests at Google and How We Mitigate Them. Google Testing Blog. https://testing.googleblog.com/2016/05/flaky-tests-at-google-and-how-we.html (Dokumen resmi)
[5] Basiri, A., Behnam, N., de Rooij, R., Hochstein, L., Kosewski, L., Reynolds, J., & Rosenthal, C. (2016). Chaos Engineering. IEEE Software, 33(3), 35-41. IEEE Computer Society. https://doi.org/10.1109/MS.2016.60 (Jurnal)
[6] Memon, A., Gao, Z., Nguyen, B., Dhanda, S., Nickell, E., Siemborski, R., & Micco, J. (2017). Taming Google-Scale Continuous Testing. Proceedings of the 39th International Conference on Software Engineering: Software Engineering in Practice Track (ICSE-SEIP '17), 233-242. IEEE. https://doi.org/10.1109/ICSE-SEIP.2017.16 (Prosiding)
[7] Alshahwan, N., Gao, X., Harman, M., Jia, Y., Mao, K., Mols, A., Tei, T., & Zorin, I. (2018). Deploying Search Based Software Engineering with Sapienz at Facebook. Proceedings of the 10th International Symposium on Search Based Software Engineering (SSBSE 2018), 3-45. Springer. https://doi.org/10.1007/978-3-319-99241-9_1 (Prosiding)
[8] W3C Browser Testing and Tools Working Group. (2018, 5 Juni). WebDriver: W3C Recommendation. World Wide Web Consortium. https://www.w3.org/TR/webdriver1/ (Dokumen resmi)
[9] Nistanto, R. K. (2019, 25 Oktober). KNKT Terbitkan Laporan Lion Air JT610, Ungkap Penyebab Kecelakaan. Kompas.com. https://tekno.kompas.com/read/2019/...ran-lion-air-jt610-ungkap-penyebab-kecelakaan (Berita)
[10] Komite Nasional Keselamatan Transportasi. (2019, Oktober). Final Report: PT. Lion Mentari Airlines Boeing 737-8 (MAX) PK-LQP, Tanjung Karawang, West Java, 29 October 2018 (KNKT.18.10.33.04). KNKT. https://knkt.go.id/Repo/Files/Laporan/Penerbangan/2018/KNKT.18.10.33.04-Final-Report.pdf (Laporan)
[11] House Committee on Transportation and Infrastructure (Majority Staff). (2020, September). Final Committee Report: The Design, Development & Certification of the Boeing 737 MAX. U.S. House of Representatives. https://democrats-transportation.ho...5 FINAL 737 MAX Report for Public Release.pdf (Laporan)
[12] Forsgren, N., Smith, D., Humble, J., & Frazelle, J. (2019). 2019 Accelerate State of DevOps Report. DORA dan Google Cloud. https://dora.dev/research/2019/dora-report/2019-dora-accelerate-state-of-devops-report.pdf (Laporan)
[13] Heater, B. (2020, 4 Februari). A results reporting app by Shadow Inc. takes center stage at chaotic Iowa caucuses. TechCrunch. https://techcrunch.com/2020/02/04/a...-takes-center-stage-at-chaotic-iowa-caucuses/ (Berita)
[14] Muhtadi, M. M., Friyadi, M. D., & Rahmani, A. (2019, 30 Agustus). Analisis GUI Testing pada Aplikasi E-Commerce menggunakan Katalon. Prosiding Industrial Research Workshop and National Seminar (IRWNS), 10(1). Politeknik Negeri Bandung. https://jurnal.polban.ac.id/proceeding/article/view/1443 (Prosiding)
[15] Financial Conduct Authority. (2022, 20 Desember). Final Notice: TSB Bank plc. FCA. https://www.fca.org.uk/publication/final-notices/tsb-bank-plc-2022.pdf (Dokumen resmi)
Terakhir diedit: