Satu Bit yang Merobohkan S3: Cloud dan DevOps Lahir dari Kegagalan

  • Hello guys, isi postingan akan diubah/diupdate secara berkala mengikuti perkembangan, atau jika ada penambahan data/informasi. Terima kasih telah membaca.

khairul

Member
Okt 13, 2010
195
1
18
Indonesia
Minggu pagi, 20 Juli 2008, pukul 08.40 waktu Pasifik. Tingkat error Amazon S3, layanan penyimpanan yang dipakai banyak startup, melonjak di semua pusat datanya sekaligus. Pukul 10.32 tim S3 mengambil keputusan drastis: mematikan seluruh komunikasi antarserver dan membersihkan state sistem. Wilayah Eropa pulih pukul 14.57, sedangkan Amerika Serikat baru kembali normal pukul 16.58 [1].

Penyebabnya bukan peretas. Laporan Amazon menyebut segelintir pesan internal protokol gossip mengalami kerusakan pada satu bit. Checksum MD5 melindungi objek milik pelanggan, tetapi tidak melindungi pesan state internal itu [1]. Lima bulan sebelumnya, 15 Februari 2008, S3 juga tumbang sekitar dua jam; Twitter terdampak dan sebagian arsip historis The New York Times tidak bisa diakses [2]. Menurut saya, dua insiden ini merangkum periode 2005-2010: komputasi mulai disewa seperti listrik, dan orang baru sadar bahwa yang disewa juga bisa padam.

Sebelum Cloud: Server Menganggur dan Satu Aplikasi per Mesin​


Pertengahan 2000-an, membangun layanan web berarti membeli server di muka. Rosenblum dan Garfinkel (IEEE Computer, Mei 2005) mencatat ironi zamannya: perangkat keras makin murah sehingga jumlah mesin membengkak, tetapi mesin-mesin itu sering kurang terpakai dan memakan ruang serta biaya pengelolaan. Demi meredam dampak crash dan pembobolan, administrator kembali ke pola satu aplikasi per mesin [3].

Jalan keluarnya adalah virtual machine monitor, atau hypervisor. Beberapa mesin virtual dipadatkan ke sedikit server fisik, dan mesin virtual bisa dipindah, digandakan, atau dikembalikan ke kondisi sebelumnya. Intel dan AMD saat itu sudah mengumumkan dukungan virtualisasi di prosesor x86 [3].

Indonesia ikut membicarakannya. Di Seminar Nasional Aplikasi Teknologi Informasi (SNATI) 2006 di Universitas Islam Indonesia, Sani Muhamad Isa memaparkan konsolidasi server dengan virtualisasi sebagai cara menekan anggaran perangkat dan SDM, sekaligus memudahkan maintenance dan recovery [4].

Kronologi: Dari Mesin Virtual ke Sepuluh Deploy Sehari​


2006-2007: S3 Berjalan, VMware Melantai di Bursa​


Amazon mulai mengoperasikan S3 pada 2006. Pada Februari 2008 juru bicaranya menyebut layanan itu sudah berjalan dua tahun, dan lebih dari 330.000 developer telah terdaftar di Amazon Web Services [2]. Daya tariknya jelas: menyimpan data "di cloud" tanpa harus mengoperasikan server sendiri [2].

Virtualisasi lalu masuk Wall Street. Pada 14 Agustus 2007 saham VMware ditutup 51 dolar, lebih dari 75 persen di atas harga penawaran 29 dolar. EMC tetap memegang 90 persen saham. VMware saat itu punya sekitar 20.000 pelanggan, jauh di atas pesaingnya Virtual Iron yang punya 750 pelanggan, dan Microsoft bersiap memasukkan virtualisasi ke Windows Server 2008 [5].

2008: Tahun Hype, Tahun Padam​


Saat insiden Februari, Amazon mengakui "satu dari tiga lokasi geografis kami tidak bisa dijangkau selama kira-kira dua jam" dan menyatakan downtime sekecil apa pun tidak bisa diterima [2]. Setelah insiden Juli, Amazon berjanji mempercepat pemulihan state, mengubah protokol gossip, menambah alarm pemantauan, dan memasang checksum pada pesan state [1].

Di saat yang sama, istilah cloud computing meledak. Oktober 2008, IDC memperkirakan belanja layanan IT cloud mencapai 16,2 miliar dolar pada 2008, hanya 4 persen dari 383 miliar dolar belanja di lima segmen IT utama, lalu naik menjadi 42 miliar dolar pada 2012 [6]. Tidak semua orang terbuai. Richard Stallman menyebut cloud "lebih buruk dari kebodohan: kampanye hype pemasaran", sementara Larry Ellison dari Oracle menyebut gelombang pengumuman cloud sebagai "complete gibberish" [7].

2009: Definisi Dicari, Dev dan Ops Diberi Panggung​


Awal 2009, Vaquero dan rekan menelaah lebih dari 20 definisi cloud dan tidak menemukan satu ciri pun yang dimiliki semua definisi. Yang paling mendekati definisi minimum adalah skalabilitas, model bayar per pemakaian, dan virtualisasi [8]. Catatan penting: tulisan ini terbit di ACM SIGCOMM CCR sebagai catatan editorial yang tidak melalui peer review. Buyya dan rekan, di jurnal Future Generation Computer Systems, membingkai komputasi sebagai "utilitas kelima" setelah air, listrik, gas, dan telepon [9].

Maret 2009, Gartner memproyeksikan pendapatan layanan cloud dunia 56,3 miliar dolar tahun itu, naik 21,3 persen dari 46,4 miliar dolar pada 2008 [10].

Juni 2009, di konferensi Velocity di San Jose, John Allspaw dan Paul Hammond dari Flickr membawakan sesi "10+ Deploys Per Day: Dev and Ops Cooperation at Flickr". Halaman sesinya mengutip blog Flickr Desember 2008: dalam seminggu ada 67 deploy berisi 496 perubahan oleh 18 orang. Mereka juga menyinggung budaya saling tuding yang lama membelenggu tim development dan operations [11]. Menurut saya, sesi ini layak dianggap salah satu titik awal gerakan yang kemudian disebut DevOps.

2010: Netflix Pindah ke AWS dan Memelihara Monyet​


Desember 2010, Netflix menulis bahwa mereka sudah sekitar setahun memindahkan sistem dari pusat data sendiri ke AWS. Pelajaran pertamanya: berbagi perangkat dengan penyewa lain (co-tenancy) itu sulit, sehingga setiap sistem harus dirancang tetap melayani meski komponen lain mati. Salah satu sistem pertama yang mereka bangun di AWS adalah Chaos Monkey, yang tugasnya mematikan instance dan layanan secara acak. Prinsipnya: "cara terbaik menghindari kegagalan adalah gagal terus-menerus" [12].

Dampak: Siapa yang Merasakan, Dulu dan Kini​


Industri: Belanja Modal Berubah Jadi Biaya Sewa​


Angka pasar cloud saat itu perlu dibaca hati-hati. Dalam data Gartner, periklanan berbasis cloud menyumbang 60 persen pasar 2008 atau 28 miliar dolar, sedangkan layanan infrastruktur, yang paling dekat dengan citra "sewa server", hanya 5,5 persen atau 2,5 miliar dolar. Gartner sendiri mengingatkan bahwa tidak semua penawaran SaaS layak disebut layanan cloud karena kendala skala dan belum benar-benar multitenant [10]. Selisih 16,2 dan 46,4 miliar dolar untuk tahun yang sama muncul karena cakupan berbeda: Gartner memasukkan periklanan, IDC menghitung lima segmen IT perusahaan. IDC bahkan menyebut prakiraannya konservatif dan skenario agresif bisa 1,5 sampai 2 kali lipat [10] [6].

Developer dan Tim Operasi: Tembok Mulai Dibongkar​


Bagi developer, cloud mengubah cara berpikir. Netflix mengaku harus "melupakan" banyak kebiasaan pusat data sendiri, misalnya menyimpan sesi di memori, karena di AWS kegagalan instance lebih sering terjadi [12]. Sesi Flickr menawarkan resepnya: deploy kode dengan satu tombol, logging di level aplikasi, pemantauan dan metrik bersama, serta saling menghormati keahlian dev dan ops [11].

Indonesia: Telkom, Microsoft, dan Janji Capex Jadi Opex​


Pada April 2010, Telkom dan Microsoft Indonesia meluncurkan Cloud Computing Solution. Paketnya ada dua: Communication & Collaboration (SaaS berbasis Exchange dan Office Communications Server) serta Virtualized Server berupa Virtual Private Server (IaaS). Rilis itu mengutip data BPS 2009 tentang 520.000 UKM dan 6.800 enterprise, dan menjual janji bayar sesuai pemakaian serta mengubah belanja modal (capex) menjadi biaya operasional (opex) [13]. Catatan: berita ini adalah rilis PR Wire yang dimuat ANTARA, jadi klaim pertumbuhan tiga kali lipat dalam dua tahun di dalamnya adalah klaim promosi. Data adopsi cloud oleh UKM Indonesia pada 2010 tidak saya temukan.

Kritik: Awan yang Belum Jelas Bentuknya​


Menurut saya, ada empat catatan kritis dari periode ini:
  • Definisi kabur, angka melambung. Lebih dari 20 definisi tanpa satu ciri bersama [8], sementara angka pasar terbesar didominasi periklanan, bukan infrastruktur [10].
  • Konsentrasi berarti kegagalan massal. Satu bit rusak membuat error S3 melonjak di semua pusat datanya selama berjam-jam [1]. ENISA (November 2009) menyebut skala ekonomi cloud sebagai kawan sekaligus lawan, karena konsentrasi sumber daya menjadi sasaran yang lebih menarik [14].
  • Lock-in nyata. ENISA menempatkan lock-in di antara risiko teratas karena minimnya standar format data dan antarmuka layanan untuk pindah penyedia [14]. Stallman memperingatkan hal serupa dari sisi kebebasan pengguna [7].
  • Isolasi antarpenyewa belum teruji. ENISA juga memasukkan kegagalan isolasi antarpenyewa ke daftar risiko teratas, walau mengakui serangan terhadap hypervisor masih jauh lebih sulit dibanding serangan ke sistem operasi biasa [14].
Supaya adil, ENISA juga mencatat bahwa langkah keamanan menjadi lebih murah bila diterapkan dalam skala besar [14]. Amazon pun membuka laporan pascainsiden yang rinci, lengkap dengan kronologi per jam dan daftar perbaikan [1].

Epilog: Dari Eksperimen ke Kebiasaan (2011-2013)​


Tiga tahun setelah sesi Flickr, DevOps sudah punya data. Laporan State of DevOps 2013 dari Puppet Labs, berbasis lebih dari 4.000 profesional di 90 negara, menyebut organisasi berkinerja tinggi melakukan deploy 30 kali lebih sering dengan kegagalan 50 persen lebih sedikit. Sebanyak 89 persen di antaranya memakai version control untuk infrastruktur dan 82 persen sudah mengotomasi deploy [15]. Catatan: Puppet Labs menjual perangkat lunak otomasi, jadi angka ini sebaiknya dibaca sebagai survei vendor.

Jika dilihat sekarang, yang tersisa setelah hype 2008 bukan istilah "cloud" itu sendiri, melainkan kebiasaan: merancang sistem dengan asumsi komponen akan gagal, mengotomasi deploy, dan membaca laporan insiden secara terbuka [12] [1].

Refleksi: Menyewa Komputer, Bukan Menyewa Kepastian​


Menurut saya, pelajaran terbesar periode 2005-2010 adalah bahwa cloud tidak menghapus kegagalan, hanya memindahkan tempatnya. Amazon belajar dari satu bit yang rusak, Netflix sengaja membuat komponennya gagal secara acak, dan Flickr menunjukkan bahwa deploy berkali-kali dalam seminggu bisa berjalan ketika dev dan ops berhenti saling tuding [1] [12] [11].

Bagi mahasiswa dan developer pemula, cobalah satu latihan sederhana: matikan satu komponen aplikasi kalian dengan sengaja, lalu lihat apakah bagian lain masih bisa melayani pengguna.

Pertanyaan untuk teman-teman forum: menurut kalian, apakah ketergantungan kita pada segelintir penyedia cloud hari ini sudah sebanding dengan kemudahan yang didapat, atau kita sedang mengulang risiko S3 2008 dalam skala yang jauh lebih besar?

Referensi​


[1] The Amazon S3 Team. (2008, Juli). Amazon S3 Availability Event: July 20, 2008. Amazon Web Services Service Health Dashboard (arsip Wayback Machine). https://web.archive.org/web/2008/http://status.aws.amazon.com/s3-20080720.html (Dokumen resmi)
[2] Stone, B. (2008, 15 Februari). Amazon's S3 Cloud Has a Dark Lining for Start-Ups. The New York Times (Bits). https://archive.nytimes.com/bits.bl...zons-s3-cloud-has-a-dark-lining-for-startups/ (Berita)
[3] Rosenblum, M., & Garfinkel, T. (2005). Virtual Machine Monitors: Current Technology and Future Trends. Computer, 38(5), 39-47. IEEE. https://doi.org/10.1109/MC.2005.176 (Jurnal)
[4] Isa, S. M. (2006). Penerapan Konsolidasi Server Menggunakan Teknologi Virtualisasi. Prosiding Seminar Nasional Aplikasi Teknologi Informasi (SNATI) 2006. Universitas Islam Indonesia. https://journal.uii.ac.id/Snati/article/view/1582 (Prosiding)
[5] Mullins, R. (2007, 15 Agustus). VMware the bright spot on a gray Wall Street day. Computerworld. https://www.computerworld.com/article/1472173/vmware-the-bright-spot-on-a-gray-wall-street-day.html (Berita)
[6] Gens, F. (2008, 8 Oktober). IT Cloud Services Forecast - 2008, 2012: A Key Driver of New Growth. IDC eXchange (arsip Wayback Machine). https://web.archive.org/web/2009/http://blogs.idc.com/ie/?p=224 (Laporan)
[7] Johnson, B. (2008, 29 September). Cloud computing is a trap, warns GNU founder Richard Stallman. The Guardian. https://www.theguardian.com/technology/2008/sep/29/cloud.computing.richard.stallman (Berita)
[8] Vaquero, L. M., Rodero-Merino, L., Caceres, J., & Lindner, M. (2009). A Break in the Clouds: Towards a Cloud Definition. ACM SIGCOMM Computer Communication Review, 39(1), 50-55. ACM. https://doi.org/10.1145/1496091.1496100 (Jurnal; catatan editorial, tidak melalui peer review)
[9] Buyya, R., Yeo, C. S., Venugopal, S., Broberg, J., & Brandic, I. (2009). Cloud computing and emerging IT platforms: Vision, hype, and reality for delivering computing as the 5th utility. Future Generation Computer Systems, 25(6), 599-616. Elsevier. https://doi.org/10.1016/j.future.2008.12.001 (Jurnal)
[10] Gartner. (2009, 26 Maret). Gartner Says Worldwide Cloud Services Revenue Will Grow 21.3 Percent in 2009. Gartner Newsroom (arsip Wayback Machine). https://web.archive.org/web/2009/http://www.gartner.com/it/page.jsp?id=920712 (Laporan)
[11] Allspaw, J., & Hammond, P. (2009, 23 Juni). 10+ Deploys Per Day: Dev and Ops Cooperation at Flickr. Velocity 2009, O'Reilly Conferences (arsip Wayback Machine). https://web.archive.org/web/2009/http://en.oreilly.com/velocity2009/public/schedule/detail/7641 (Dokumen resmi)
[12] Ciancutti, J. (2010, 16 Desember). 5 Lessons We've Learned Using AWS. The Netflix Tech Blog (arsip Wayback Machine). https://web.archive.org/web/2011/ht...2010/12/5-lessons-weve-learned-using-aws.html (Dokumen resmi)
[13] PR Wire. (2010, 23 April). Telkom Dan Microsoft Hadirkan Solusi untuk Mempercepat Implementasi Cloud Computing di Indonesia. ANTARA News. https://www.antaranews.com/berita/1...pat-implementasi-cloud-computing-di-indonesia (Berita)
[14] Catteddu, D., & Hogben, G. (Ed.). (2009, November). Cloud Computing: Benefits, risks and recommendations for information security. European Network and Information Security Agency (ENISA). https://www.enisa.europa.eu/sites/d.../Cloud Computing Security Risk Assessment.pdf (Laporan)
[15] Puppet Labs. (2013, 26 Maret). DevOps Adoption Accelerating, Puppet Labs Survey Results Indicate (ringkasan 2013 State of DevOps Report). GlobeNewswire. https://www.globenewswire.com/news-...ting-Puppet-Labs-Survey-Results-Indicate.html (Laporan)
 
Terakhir diedit: