Pada 27 Maret 2008, Terminal 5 Bandara Heathrow dibuka setelah enam tahun dibangun dengan biaya 4,3 miliar poundsterling. Hari pertama saja, 36.584 penumpang terdampak. Sistem bagasi macet sampai koper harus diangkut lewat jalan raya untuk dipilah di tempat lain, dan menurut British Airways ada 23.205 tas yang harus disortir manual. Komite Transportasi Parlemen Inggris menyimpulkan penyebab utamanya dua: komunikasi yang buruk antara pemilik dan operator, serta pelatihan staf dan pengujian sistem yang lemah [1].
Detailnya lebih menyakitkan bagi orang QA. Di depan komite, CEO British Airways Willie Walsh mengakui pihaknya "compromised on the testing" karena pembangunan gedung terlambat. Rencana pengujian enam bulan, dari 17 September 2007 sampai hari pembukaan, terpangkas. Masalah software paling besar ternyata sebuah filter yang dipasang sebagai bagian dari sistem pengujian dan masih aktif sampai 30 Maret [1].
Padahal uji cobanya tidak kecil. Menurut BAA, 15.000 relawan ikut dalam 66 uji coba dan 400.000 tas dialirkan ke sistem sebelum pembukaan. Ketika ditanya apa beda tas uji dengan tas penumpang sungguhan, CEO BAA Colin Matthews menjawab bahwa bagasi yang dipakai saat pengujian mungkin "too uniform" [1]. Menurut saya, kisah ini merangkum persoalan testing 2005-2010: alatnya ada, tetapi tes masih diperlakukan sebagai tahap akhir yang boleh dikorbankan saat jadwal mepet.
Angka yang sering dikutip pada periode ini datang dari studi RTI untuk NIST (2002). Bug software diperkirakan merugikan ekonomi Amerika Serikat 59,5 miliar dolar per tahun, sekitar 0,6 persen PDB. Lebih dari separuh ditanggung pengguna, bukan pembuat software. Sekitar 22,2 miliar dolar disebut bisa dihemat jika infrastruktur pengujian lebih baik, karena lebih dari separuh kesalahan baru ditemukan "downstream", yakni di akhir pengembangan atau setelah software dijual [2].
Pasar menjawab dengan alat komersial yang mahal. Pada 25 Juli 2006, HP mengumumkan akan membeli Mercury Interactive senilai 4,5 miliar dolar. Produk Mercury yang disebut dalam berita antara lain LoadRunner untuk menguji batas lalu lintas sistem dan Test Director untuk menjalankan rangkaian tes otomatis. Akuisisi itu diperkirakan mendongkrak bisnis software HP menjadi lebih dari 2 miliar dolar per tahun [3].
Tahun 2006 terasa seperti titik balik. Dalam laporan pengalaman di konferensi AGILE 2006, Holmes dan Kellogg menulis bahwa Selenium, proyek open source untuk pengujian di dalam browser yang awalnya dikembangkan ThoughtWorks, punya tujuan resmi menjadi pengganti open source bagi alat proprietary seperti WinRunner. Mereka juga mengakui Selenium bukan "silver bullet" dan membahas apakah tes otomatis di bawah lapisan GUI masih diperlukan [4].
Pada 1 Mei 2006, Martin Fowler menulis ulang artikel Continuous Integration. Salah satu prinsipnya: build harus menguji dirinya sendiri, dan satu tes yang gagal harus menggagalkan build. Ia merekomendasikan keluarga alat open source xUnit yang dirintis Kent Beck, dan bahkan menulis bahwa developer sebaiknya tidak pulang sebelum build di mainline lolos [5]. Di bulan Maret, Dan North memperkenalkan behaviour-driven development (BDD) di majalah Better Software. Idenya berawal dari kebingungan programmer saat belajar TDD: harus mulai dari mana, apa yang dites, dan bagaimana memberi nama tes. North mengganti kata "test" dengan "behaviour" dan memperkenalkan templat skenario Given-When-Then yang bisa dieksekusi [6].
Studi Nagappan dan rekan (2008) memberi data dari industri. Pada tiga tim Microsoft dan satu tim IBM yang memakai TDD, kepadatan cacat sebelum rilis turun 40 sampai 90 persen dibanding proyek sejenis. Harganya, waktu pengembangan awal naik 15 sampai 35 persen menurut perkiraan tim sendiri [7].
Survei VersionOne pertengahan 2008 terhadap 2.319 responden lengkap dari 80 negara menunjukkan 73 persen sudah memakai alat unit test, 57 persen alat continuous integration, tetapi hanya 37 persen alat tes penerimaan otomatis. Menariknya, hanya 4 persen responden yang menyebut dirinya QA atau tester [8].
Pada Desember 2008, makalah KLEE di OSDI menunjukkan arah lain: tes yang dibuat mesin. Dengan eksekusi simbolik, KLEE menguji 89 program GNU Coreutils dan mencapai rata-rata cakupan baris di atas 90 persen per program, mengalahkan tes buatan developernya sendiri. KLEE juga menemukan 56 bug serius di 452 aplikasi, termasuk tiga bug Coreutils yang lolos lebih dari 15 tahun. Sepuluh bug fatal yang ditemukannya di Coreutils lebih banyak daripada gabungan bug crash yang dilaporkan sepanjang 2006, 2007, dan 2008 [9].
Pada 8 Mei 2009, Simon Stewart dari Google mengumumkan WebDriver dan rencana penggabungannya dengan Selenium. Masalah Selenium, tulisnya, adalah ketergantungan pada JavaScript yang terkurung model keamanan browser, misalnya saat mengunggah file atau berpindah domain. WebDriver mengendalikan browser lewat mekanisme bawaan, misalnya ekstensi di Firefox dan kontrol otomasi di Internet Explorer. Selenium selalu butuh browser sungguhan, sedangkan WebDriver juga bisa memakai HtmlUnit yang meniru browser secara ringan. Karena saling melengkapi, Selenium 2.0 dijanjikan menawarkan kedua API [10].
Januari 2010 memberi contoh sebaliknya. GAO, lembaga audit Kongres AS, memeriksa SBInet, program teknologi pengawasan perbatasan. Sebanyak 72 persen kasus uji yang diperiksa tidak dijalankan sesuai rencana, sebagian ditulis ulang saat eksekusi tanpa prosedur QA. Kantor program sendiri menulis bahwa perubahan itu tampak "designed to pass the test instead of being designed to qualify the system". Pejabat program menyalahkan keterbatasan waktu dan panduan. Dari Maret 2008 sampai Juli 2009, ditemukan sekitar 1.300 cacat, dengan cacat baru bertambah lebih cepat daripada yang diperbaiki [11].
Bagi vendor, testing terbukti bernilai miliaran dolar [3]. Namun pada saat yang sama, alat gratis seperti Selenium tumbuh dari kebutuhan tim agile [4]. Organisasi besar juga belajar bahwa kegagalan testing bisa menjadi urusan parlemen dan auditor negara, bukan hanya urusan tim IT [1] [11].
Bagi developer, pekerjaan bertambah. TDD menuntut waktu awal lebih banyak [7], CI menuntut build yang selalu hijau [5], dan BDD meminta tes ditulis dalam bahasa yang dipahami analis dan penguji. North juga mengingatkan bahwa developer pemula TDD punya "innate fear of deleting tests", padahal tes yang premisnya sudah tidak berlaku memang sebaiknya dihapus [6]. Bagi tester, angka 4 persen di survei VersionOne memberi petunjuk bahwa percakapan agile saat itu didominasi manajer dan developer [8].
Di Indonesia, otomasi tes masih identik dengan alat komersial. Makalah Adi Pratomo di JITIKA (Desember 2007) membahas pengujian aplikasi web dengan Rational Unified Process serta alat Rational TestManager dan Rational Robot, dari perencanaan sampai evaluasi [12].
Pelajaran terbesar datang dari Pemilu Legislatif 2009. Tabulasi elektronik KPU memakai Intelligent Character Recognition (ICR) untuk membaca formulir C1 yang ditulis tangan. Pada 6 April 2009, praktisi TI dari ITB Dedy Syafwan menyebut "ICR ini belum proven", karena angka 7 bisa terbaca 1 dan angka 6 bisa terbaca 0. Ia meminta hasil ICR divalidasi dan diverifikasi, apalagi satu kabupaten/kota bisa punya lebih dari 1.000 TPS yang masing-masing menyetor 8 lembar formulir [13]. Pada 24 April 2009, anggota KPU Abdul Aziz meminta maaf atas lambatnya tabulasi. Dari 147 ribu TPS yang sudah mengirim data, baru sekitar 72 ribu yang ditayangkan karena sisanya masih diverifikasi [14].
Menurut saya, ada empat catatan kritis dari periode ini:
Selenium 2.0 masuk tahap beta menjelang akhir 2010, dan pada Januari 2011 SD Times melaporkan penggabungannya dengan WebDriver hampir rampung. Jason Huggins, yang sebelumnya menjalankan cloud pengujian Selenium internal di Google, mendirikan Sauce Labs untuk menjual akses cloud pengujian Selenium. Menurutnya, masalah terbesar justru menyiapkan dan merawat lab tes berisi banyak browser. Ia juga menyebut Selenium 2.0 akan mendukung Android dan iOS untuk pertama kalinya [15]. Dari dunia riset, tes temuan KLEE dimasukkan ke rangkaian tes resmi Coreutils [9].
Jika dilihat sekarang, warisan 2005-2010 bukan merek alat tertentu, melainkan pembagian kerja baru: tes otomatis ditulis bersama kode, dijalankan setiap commit, dan diberi nama sesuai perilaku yang diharapkan [5] [6].
Menurut saya, pelajaran paling awet dari periode ini sederhana. Terminal 5 punya rencana pengujian enam bulan, SBInet punya ratusan kasus uji, dan KPU punya tim ahli TI [1] [11] [14]. Yang kurang adalah keberanian menunda rilis ketika pengujian belum selesai. Alat bisa dibeli, tetapi disiplin harus dibangun.
Bagi mahasiswa dan developer pemula, mulailah dari kebiasaan kecil: tulis tes sebelum memperbaiki bug, jalankan semua tes sebelum commit, dan jangan pernah meninggalkan "filter pengujian" di sistem produksi.
Pertanyaan untuk teman-teman forum: di tim atau proyek kuliah kalian, siapa yang sebenarnya menulis dan menjaga tes, developer, tester khusus, atau belum ada sama sekali, dan apa yang membuatnya begitu?
[1] House of Commons Transport Committee. (2008, 3 November). The opening of Heathrow Terminal 5 (Twelfth Report of Session 2007-08, HC 543). The Stationery Office. https://publications.parliament.uk/pa/cm200708/cmselect/cmtran/543/543.pdf (Laporan)
[2] RTI International untuk National Institute of Standards and Technology. (2002). The Economic Impacts of Inadequate Infrastructure for Software Testing (Planning Report 02-3). NIST. https://www.nist.gov/system/files/documents/director/planning/report02-3.pdf (Laporan)
[3] InformationWeek Staff. (2006, 25 Juli). HP To Acquire Mercury Interactive For $4.5 Billion. InformationWeek. https://www.informationweek.com/software-services/hp-to-acquire-mercury-interactive-for-4-5-billion (Berita)
[4] Holmes, A., & Kellogg, M. (2006). Automating Functional Tests Using Selenium. Proceedings of AGILE 2006 Conference (AGILE'06), Minneapolis, 23-28 Juli 2006, hlm. 270-275. IEEE Computer Society. https://ieeexplore.ieee.org/document/1667589 (Prosiding)
[5] Fowler, M. (2006, 1 Mei; penulisan ulang lengkap). Continuous Integration. martinfowler.com (arsip Wayback Machine). https://web.archive.org/web/2021031...owler.com/articles/continuousIntegration.html (Dokumen resmi)
[6] North, D. (2006, 20 September). Introducing BDD. dannorth.net (pertama terbit sebagai "Behavior Modification", Better Software, Maret 2006). https://dannorth.net/blog/introducing-bdd/ (Dokumen resmi)
[7] Nagappan, N., Maximilien, E. M., Bhat, T., & Williams, L. (2008). Realizing quality improvement through test driven development: results and experiences of four industrial teams. Empirical Software Engineering, 13(3), 289-302. Springer. https://doi.org/10.1007/s10664-008-9062-z (Jurnal)
[8] VersionOne. (2008). 3rd Annual Survey: 2008 "The State of Agile Development" (Full Data Report). VersionOne, Inc. https://www.eg.bucknell.edu/~cs479/...of-agile/3rd-annual-state-of-agile-report.pdf (Laporan)
[9] Cadar, C., Dunbar, D., & Engler, D. (2008). KLEE: Unassisted and Automatic Generation of High-Coverage Tests for Complex Systems Programs. Proceedings of the 8th USENIX Symposium on Operating Systems Design and Implementation (OSDI '08). USENIX. https://www.usenix.org/event/osdi08/tech/full_papers/cadar/cadar.pdf (Prosiding)
[10] Stewart, S. (2009, 8 Mei). Introducing WebDriver. Google Open Source Blog. https://opensource.googleblog.com/2009/05/introducing-webdriver.html (Dokumen resmi)
[11] U.S. Government Accountability Office. (2010, 29 Januari). Secure Border Initiative: DHS Needs to Address Testing and Performance Limitations That Place Key Technology Program at Risk (GAO-10-158). GAO. https://www.gao.gov/products/gao-10-158 (Laporan)
[12] Pratomo, A. (2007, 1 Desember). Software Testing Automation Menggunakan Rational Software. Jurnal Ilmiah Teknologi Informasi Asia (JITIKA). https://jurnal.asia.ac.id/index.php/jitika/article/view/20 (Jurnal)
[13] detikNews. (2009, 6 April). Sistem ICR Belum Teruji, Akurasi Dipertanyakan. detik.com. https://news.detik.com/pemilu/d-1110977/sistem-icr-belum-teruji-akurasi-dipertanyakan (Berita)
[14] ANTARA News. (2009, 24 April). KPU Minta Maaf Atas Lambatnya Tabulasi. ANTARA. https://www.antaranews.com/berita/139018/kpu-minta-maaf-atas-lambatnya-tabulasi (Berita)
[15] Handy, A. (2011, 26 Januari). Selenium 2.0 merges with WebDriver. SD Times. https://sdtimes.com/selenium/selenium-2-0-merges-with-webdriver/ (Berita)
Detailnya lebih menyakitkan bagi orang QA. Di depan komite, CEO British Airways Willie Walsh mengakui pihaknya "compromised on the testing" karena pembangunan gedung terlambat. Rencana pengujian enam bulan, dari 17 September 2007 sampai hari pembukaan, terpangkas. Masalah software paling besar ternyata sebuah filter yang dipasang sebagai bagian dari sistem pengujian dan masih aktif sampai 30 Maret [1].
Padahal uji cobanya tidak kecil. Menurut BAA, 15.000 relawan ikut dalam 66 uji coba dan 400.000 tas dialirkan ke sistem sebelum pembukaan. Ketika ditanya apa beda tas uji dengan tas penumpang sungguhan, CEO BAA Colin Matthews menjawab bahwa bagasi yang dipakai saat pengujian mungkin "too uniform" [1]. Menurut saya, kisah ini merangkum persoalan testing 2005-2010: alatnya ada, tetapi tes masih diperlakukan sebagai tahap akhir yang boleh dikorbankan saat jadwal mepet.
Latar Belakang: Bug yang Mahal dan Pasar Alat Tes yang Gemuk
Angka yang sering dikutip pada periode ini datang dari studi RTI untuk NIST (2002). Bug software diperkirakan merugikan ekonomi Amerika Serikat 59,5 miliar dolar per tahun, sekitar 0,6 persen PDB. Lebih dari separuh ditanggung pengguna, bukan pembuat software. Sekitar 22,2 miliar dolar disebut bisa dihemat jika infrastruktur pengujian lebih baik, karena lebih dari separuh kesalahan baru ditemukan "downstream", yakni di akhir pengembangan atau setelah software dijual [2].
Pasar menjawab dengan alat komersial yang mahal. Pada 25 Juli 2006, HP mengumumkan akan membeli Mercury Interactive senilai 4,5 miliar dolar. Produk Mercury yang disebut dalam berita antara lain LoadRunner untuk menguji batas lalu lintas sistem dan Test Director untuk menjalankan rangkaian tes otomatis. Akuisisi itu diperkirakan mendongkrak bisnis software HP menjadi lebih dari 2 miliar dolar per tahun [3].
Kronologi: Lima Tahun Tes Berpindah Tempat
2006: Selenium, Integrasi Berkelanjutan, dan BDD
Tahun 2006 terasa seperti titik balik. Dalam laporan pengalaman di konferensi AGILE 2006, Holmes dan Kellogg menulis bahwa Selenium, proyek open source untuk pengujian di dalam browser yang awalnya dikembangkan ThoughtWorks, punya tujuan resmi menjadi pengganti open source bagi alat proprietary seperti WinRunner. Mereka juga mengakui Selenium bukan "silver bullet" dan membahas apakah tes otomatis di bawah lapisan GUI masih diperlukan [4].
Pada 1 Mei 2006, Martin Fowler menulis ulang artikel Continuous Integration. Salah satu prinsipnya: build harus menguji dirinya sendiri, dan satu tes yang gagal harus menggagalkan build. Ia merekomendasikan keluarga alat open source xUnit yang dirintis Kent Beck, dan bahkan menulis bahwa developer sebaiknya tidak pulang sebelum build di mainline lolos [5]. Di bulan Maret, Dan North memperkenalkan behaviour-driven development (BDD) di majalah Better Software. Idenya berawal dari kebingungan programmer saat belajar TDD: harus mulai dari mana, apa yang dites, dan bagaimana memberi nama tes. North mengganti kata "test" dengan "behaviour" dan memperkenalkan templat skenario Given-When-Then yang bisa dieksekusi [6].
2008: Bukti Lapangan dan Mesin Pembuat Tes
Studi Nagappan dan rekan (2008) memberi data dari industri. Pada tiga tim Microsoft dan satu tim IBM yang memakai TDD, kepadatan cacat sebelum rilis turun 40 sampai 90 persen dibanding proyek sejenis. Harganya, waktu pengembangan awal naik 15 sampai 35 persen menurut perkiraan tim sendiri [7].
Survei VersionOne pertengahan 2008 terhadap 2.319 responden lengkap dari 80 negara menunjukkan 73 persen sudah memakai alat unit test, 57 persen alat continuous integration, tetapi hanya 37 persen alat tes penerimaan otomatis. Menariknya, hanya 4 persen responden yang menyebut dirinya QA atau tester [8].
Pada Desember 2008, makalah KLEE di OSDI menunjukkan arah lain: tes yang dibuat mesin. Dengan eksekusi simbolik, KLEE menguji 89 program GNU Coreutils dan mencapai rata-rata cakupan baris di atas 90 persen per program, mengalahkan tes buatan developernya sendiri. KLEE juga menemukan 56 bug serius di 452 aplikasi, termasuk tiga bug Coreutils yang lolos lebih dari 15 tahun. Sepuluh bug fatal yang ditemukannya di Coreutils lebih banyak daripada gabungan bug crash yang dilaporkan sepanjang 2006, 2007, dan 2008 [9].
2009-2010: WebDriver dan Tes yang Diakali
Pada 8 Mei 2009, Simon Stewart dari Google mengumumkan WebDriver dan rencana penggabungannya dengan Selenium. Masalah Selenium, tulisnya, adalah ketergantungan pada JavaScript yang terkurung model keamanan browser, misalnya saat mengunggah file atau berpindah domain. WebDriver mengendalikan browser lewat mekanisme bawaan, misalnya ekstensi di Firefox dan kontrol otomasi di Internet Explorer. Selenium selalu butuh browser sungguhan, sedangkan WebDriver juga bisa memakai HtmlUnit yang meniru browser secara ringan. Karena saling melengkapi, Selenium 2.0 dijanjikan menawarkan kedua API [10].
Januari 2010 memberi contoh sebaliknya. GAO, lembaga audit Kongres AS, memeriksa SBInet, program teknologi pengawasan perbatasan. Sebanyak 72 persen kasus uji yang diperiksa tidak dijalankan sesuai rencana, sebagian ditulis ulang saat eksekusi tanpa prosedur QA. Kantor program sendiri menulis bahwa perubahan itu tampak "designed to pass the test instead of being designed to qualify the system". Pejabat program menyalahkan keterbatasan waktu dan panduan. Dari Maret 2008 sampai Juli 2009, ditemukan sekitar 1.300 cacat, dengan cacat baru bertambah lebih cepat daripada yang diperbaiki [11].
Dampak: Siapa yang Terkena, Dulu dan Sekarang
Industri dan Vendor
Bagi vendor, testing terbukti bernilai miliaran dolar [3]. Namun pada saat yang sama, alat gratis seperti Selenium tumbuh dari kebutuhan tim agile [4]. Organisasi besar juga belajar bahwa kegagalan testing bisa menjadi urusan parlemen dan auditor negara, bukan hanya urusan tim IT [1] [11].
Developer dan Tester
Bagi developer, pekerjaan bertambah. TDD menuntut waktu awal lebih banyak [7], CI menuntut build yang selalu hijau [5], dan BDD meminta tes ditulis dalam bahasa yang dipahami analis dan penguji. North juga mengingatkan bahwa developer pemula TDD punya "innate fear of deleting tests", padahal tes yang premisnya sudah tidak berlaku memang sebaiknya dihapus [6]. Bagi tester, angka 4 persen di survei VersionOne memberi petunjuk bahwa percakapan agile saat itu didominasi manajer dan developer [8].
Indonesia: Rational di Kampus, ICR di Pemilu
Di Indonesia, otomasi tes masih identik dengan alat komersial. Makalah Adi Pratomo di JITIKA (Desember 2007) membahas pengujian aplikasi web dengan Rational Unified Process serta alat Rational TestManager dan Rational Robot, dari perencanaan sampai evaluasi [12].
Pelajaran terbesar datang dari Pemilu Legislatif 2009. Tabulasi elektronik KPU memakai Intelligent Character Recognition (ICR) untuk membaca formulir C1 yang ditulis tangan. Pada 6 April 2009, praktisi TI dari ITB Dedy Syafwan menyebut "ICR ini belum proven", karena angka 7 bisa terbaca 1 dan angka 6 bisa terbaca 0. Ia meminta hasil ICR divalidasi dan diverifikasi, apalagi satu kabupaten/kota bisa punya lebih dari 1.000 TPS yang masing-masing menyetor 8 lembar formulir [13]. Pada 24 April 2009, anggota KPU Abdul Aziz meminta maaf atas lambatnya tabulasi. Dari 147 ribu TPS yang sudah mengirim data, baru sekitar 72 ribu yang ditayangkan karena sisanya masih diverifikasi [14].
Kritik: Hijau di Dasbor Belum Tentu Benar
Menurut saya, ada empat catatan kritis dari periode ini:
- Banyak tes tidak sama dengan tes yang baik. Coreutils termasuk kode open source yang paling banyak diuji, tetapi KLEE masih menemukan bug berumur belasan tahun [9].
- Bukti TDD masih sempit. Angka 40-90 persen berasal dari empat tim, dan tambahan waktu 15-35 persen adalah perkiraan subjektif tim [7].
- Masalah terbesar sering di luar alat. Terminal 5 dan SBInet sama-sama gagal karena jadwal menekan pengujian, bukan karena tidak ada alat [1] [11].
- Data survei perlu dibaca hati-hati. Hasil survei VersionOne hanya mencakup responden yang sudah mempraktikkan agile [8], sedangkan angka 59,5 miliar dolar NIST adalah ekstrapolasi dari dua studi kasus industri [2].
Epilog: Yang Tersisa Setelah 2010
Selenium 2.0 masuk tahap beta menjelang akhir 2010, dan pada Januari 2011 SD Times melaporkan penggabungannya dengan WebDriver hampir rampung. Jason Huggins, yang sebelumnya menjalankan cloud pengujian Selenium internal di Google, mendirikan Sauce Labs untuk menjual akses cloud pengujian Selenium. Menurutnya, masalah terbesar justru menyiapkan dan merawat lab tes berisi banyak browser. Ia juga menyebut Selenium 2.0 akan mendukung Android dan iOS untuk pertama kalinya [15]. Dari dunia riset, tes temuan KLEE dimasukkan ke rangkaian tes resmi Coreutils [9].
Jika dilihat sekarang, warisan 2005-2010 bukan merek alat tertentu, melainkan pembagian kerja baru: tes otomatis ditulis bersama kode, dijalankan setiap commit, dan diberi nama sesuai perilaku yang diharapkan [5] [6].
Refleksi: Tes yang Tidak Boleh Dipangkas
Menurut saya, pelajaran paling awet dari periode ini sederhana. Terminal 5 punya rencana pengujian enam bulan, SBInet punya ratusan kasus uji, dan KPU punya tim ahli TI [1] [11] [14]. Yang kurang adalah keberanian menunda rilis ketika pengujian belum selesai. Alat bisa dibeli, tetapi disiplin harus dibangun.
Bagi mahasiswa dan developer pemula, mulailah dari kebiasaan kecil: tulis tes sebelum memperbaiki bug, jalankan semua tes sebelum commit, dan jangan pernah meninggalkan "filter pengujian" di sistem produksi.
Pertanyaan untuk teman-teman forum: di tim atau proyek kuliah kalian, siapa yang sebenarnya menulis dan menjaga tes, developer, tester khusus, atau belum ada sama sekali, dan apa yang membuatnya begitu?
Referensi
[1] House of Commons Transport Committee. (2008, 3 November). The opening of Heathrow Terminal 5 (Twelfth Report of Session 2007-08, HC 543). The Stationery Office. https://publications.parliament.uk/pa/cm200708/cmselect/cmtran/543/543.pdf (Laporan)
[2] RTI International untuk National Institute of Standards and Technology. (2002). The Economic Impacts of Inadequate Infrastructure for Software Testing (Planning Report 02-3). NIST. https://www.nist.gov/system/files/documents/director/planning/report02-3.pdf (Laporan)
[3] InformationWeek Staff. (2006, 25 Juli). HP To Acquire Mercury Interactive For $4.5 Billion. InformationWeek. https://www.informationweek.com/software-services/hp-to-acquire-mercury-interactive-for-4-5-billion (Berita)
[4] Holmes, A., & Kellogg, M. (2006). Automating Functional Tests Using Selenium. Proceedings of AGILE 2006 Conference (AGILE'06), Minneapolis, 23-28 Juli 2006, hlm. 270-275. IEEE Computer Society. https://ieeexplore.ieee.org/document/1667589 (Prosiding)
[5] Fowler, M. (2006, 1 Mei; penulisan ulang lengkap). Continuous Integration. martinfowler.com (arsip Wayback Machine). https://web.archive.org/web/2021031...owler.com/articles/continuousIntegration.html (Dokumen resmi)
[6] North, D. (2006, 20 September). Introducing BDD. dannorth.net (pertama terbit sebagai "Behavior Modification", Better Software, Maret 2006). https://dannorth.net/blog/introducing-bdd/ (Dokumen resmi)
[7] Nagappan, N., Maximilien, E. M., Bhat, T., & Williams, L. (2008). Realizing quality improvement through test driven development: results and experiences of four industrial teams. Empirical Software Engineering, 13(3), 289-302. Springer. https://doi.org/10.1007/s10664-008-9062-z (Jurnal)
[8] VersionOne. (2008). 3rd Annual Survey: 2008 "The State of Agile Development" (Full Data Report). VersionOne, Inc. https://www.eg.bucknell.edu/~cs479/...of-agile/3rd-annual-state-of-agile-report.pdf (Laporan)
[9] Cadar, C., Dunbar, D., & Engler, D. (2008). KLEE: Unassisted and Automatic Generation of High-Coverage Tests for Complex Systems Programs. Proceedings of the 8th USENIX Symposium on Operating Systems Design and Implementation (OSDI '08). USENIX. https://www.usenix.org/event/osdi08/tech/full_papers/cadar/cadar.pdf (Prosiding)
[10] Stewart, S. (2009, 8 Mei). Introducing WebDriver. Google Open Source Blog. https://opensource.googleblog.com/2009/05/introducing-webdriver.html (Dokumen resmi)
[11] U.S. Government Accountability Office. (2010, 29 Januari). Secure Border Initiative: DHS Needs to Address Testing and Performance Limitations That Place Key Technology Program at Risk (GAO-10-158). GAO. https://www.gao.gov/products/gao-10-158 (Laporan)
[12] Pratomo, A. (2007, 1 Desember). Software Testing Automation Menggunakan Rational Software. Jurnal Ilmiah Teknologi Informasi Asia (JITIKA). https://jurnal.asia.ac.id/index.php/jitika/article/view/20 (Jurnal)
[13] detikNews. (2009, 6 April). Sistem ICR Belum Teruji, Akurasi Dipertanyakan. detik.com. https://news.detik.com/pemilu/d-1110977/sistem-icr-belum-teruji-akurasi-dipertanyakan (Berita)
[14] ANTARA News. (2009, 24 April). KPU Minta Maaf Atas Lambatnya Tabulasi. ANTARA. https://www.antaranews.com/berita/139018/kpu-minta-maaf-atas-lambatnya-tabulasi (Berita)
[15] Handy, A. (2011, 26 Januari). Selenium 2.0 merges with WebDriver. SD Times. https://sdtimes.com/selenium/selenium-2-0-merges-with-webdriver/ (Berita)
Terakhir diedit: