- Apa itu Data Science?
- Python for Data Science
- NumPy
- Pandas
- Data Visualization
- Struktur Proses Data Science
- Statistics (Statistika)
- Machine Learning dalam Data Science
- Data Analysis
- Siapa itu Data Scientist?
- Jenis-jenis Profesi di Bidang Data
- Bagaimana Sebuah Proyek Data Science Bekerja?
- Perjalanan Data Science dari Masa ke Masa
- Perbedaan antara Data Scientist dan Data Analyst
1. APA ITU DATA SCIENCE?
- Data Science (Ilmu Data) adalah bidang ilmu yang menggabungkan statistika, pemrograman, dan pemahaman bidang tertentu (domain knowledge) untuk menggali wawasan dan pengetahuan dari data.
- Tujuannya adalah menjawab pertanyaan seperti "apa yang terjadi?", "mengapa terjadi?", dan "apa yang kemungkinan akan terjadi?" berdasarkan data, bukan berdasarkan tebakan.
- Gagasan "analisis data sebagai ilmu" sudah dikemukakan oleh statistikawan John Tukey pada tahun 1962. William Cleveland mengusulkan Data Science sebagai disiplin ilmu tersendiri pada tahun 2001.
- Istilah "Data Scientist" makin populer setelah majalah Harvard Business Review pada tahun 2012 menyebutnya sebagai "pekerjaan paling seksi di abad ke-21".
- Contoh penerapan Data Science: rekomendasi produk di marketplace, deteksi transaksi mencurigakan di bank, prediksi permintaan barang, analisis sentimen media sosial, dan prediksi kemacetan lalu lintas.
- Data Science dibangun dari tiga pilar utama:
- Matematika & Statistika β untuk memahami pola, ketidakpastian, dan menguji kesimpulan.
- Pemrograman β untuk mengolah data dalam jumlah besar, terutama dengan Python, R, dan SQL.
- Domain Knowledge β pemahaman bidang yang dianalisis, misalnya bisnis, kesehatan, atau pendidikan, agar hasil analisis masuk akal dan berguna.
2. PYTHON FOR DATA SCIENCE
- Python adalah bahasa pemrograman yang dibuat oleh Guido van Rossum dan pertama kali dirilis pada tahun 1991.
- Python menjadi bahasa paling populer untuk Data Science karena sintaksnya mudah dibaca, gratis, dan memiliki ekosistem library yang sangat lengkap.
- Sebelum Python populer, analisis data banyak dilakukan dengan R (1993), SAS, SPSS, dan Microsoft Excel. Semua alat ini masih dipakai hingga sekarang, terutama di dunia akademik dan riset.
- Library utama Python untuk Data Science:
- NumPy β perhitungan numerik dan array
- Pandas β pengolahan data berbentuk tabel
- Matplotlib, Seaborn, Plotly β visualisasi data
- SciPy dan statsmodels β statistika lanjutan
- scikit-learn β Machine Learning
- Kode Python untuk Data Science biasanya ditulis di Jupyter Notebook (2014, berkembang dari proyek IPython sejak 2001) atau Google Colab, sehingga kode, hasil, grafik, dan catatan bisa tampil dalam satu dokumen. File notebook disimpan dengan ekstensi .ipynb.
NUMPY - FONDASI PERHITUNGAN NUMERIK (LANJUTAN)
- NumPy (Numerical Python) dibuat oleh Travis Oliphant pada tahun 2006 dengan menggabungkan dua library pendahulunya, yaitu Numeric (1995) dan Numarray.
- NumPy menyediakan struktur data array, yaitu kumpulan angka yang bisa dihitung sekaligus dengan sangat cepat karena inti perhitungannya ditulis dalam bahasa C.
- Hampir semua library data di Python, termasuk Pandas dan scikit-learn, dibangun di atas NumPy.
- Kemampuan utama: operasi matematika pada seluruh array tanpa perulangan (vectorization), statistik dasar, aljabar linear, dan pembuatan angka acak.
- Contoh:
Kode:
import numpy as np
nilai = np.array([78, 85, 90, 66, 88])
print(nilai.mean()) # rata-rata: 81.4
print(nilai.max()) # nilai tertinggi: 90
print(nilai * 1.1) # semua nilai dikali 1.1 sekaligus
PANDAS - PENGOLAHAN DATA TABEL (LANJUTAN)
- Pandas dikembangkan oleh Wes McKinney sejak tahun 2008 saat bekerja di perusahaan keuangan, lalu dirilis sebagai open source pada tahun 2009.
- Nama Pandas berasal dari istilah "panel data", yaitu istilah ekonometrika untuk data yang diamati berulang kali dari waktu ke waktu.
- Struktur data utamanya adalah DataFrame, yaitu tabel dengan baris dan kolom seperti lembar kerja Excel, tetapi bisa diolah dengan kode dan mampu menangani jutaan baris.
- Kemampuan utama: membaca file CSV, Excel, JSON, dan database SQL, membersihkan data kosong atau duplikat, menyaring dan mengurutkan data, menggabungkan tabel, serta merangkum data per kelompok.
- Alternatif modern yang lebih cepat untuk data sangat besar adalah Polars (2020), tetapi Pandas tetap menjadi standar yang paling banyak dipakai dan diajarkan.
- Contoh:
Kode:
import pandas as pd
df = pd.read_csv("penjualan.csv") # membaca file data
df.head() # melihat 5 baris pertama
df.info() # tipe data & jumlah data kosong
df = df.drop_duplicates() # membuang baris duplikat
df.groupby("kota")["total"].sum() # total penjualan per kota
3. DATA VISUALIZATION
- Data Visualization (visualisasi data) adalah penyajian data dalam bentuk grafik agar pola, tren, dan perbandingan lebih mudah dipahami.
- Visualisasi data sudah memiliki sejarah panjang. William Playfair menciptakan grafik garis dan grafik batang pada tahun 1786, John Snow memetakan kasus kolera di London pada tahun 1854 untuk menemukan sumber wabah, dan Florence Nightingale membuat diagram "rose" pada tahun 1858 untuk menunjukkan penyebab kematian tentara.
- Pada tahun 1973, statistikawan Francis Anscombe membuat empat kelompok data yang memiliki rata-rata, varians, dan korelasi hampir sama, tetapi bentuk grafiknya sangat berbeda. Contoh yang dikenal sebagai Anscombe's Quartet ini membuktikan bahwa data harus selalu divisualisasikan, tidak cukup hanya dilihat angka ringkasannya.
- Library visualisasi di Python:
- Matplotlib (2003) β library dasar yang sangat fleksibel, dibuat oleh John D. Hunter.
- Seaborn (2012) β dibangun di atas Matplotlib, menghasilkan grafik statistik yang rapi dengan kode lebih singkat.
- Plotly β grafik interaktif yang bisa diperbesar dan disorot, cocok untuk dashboard.
- Jenis grafik yang paling sering dipakai: grafik garis (tren waktu), grafik batang (perbandingan kategori), histogram (sebaran data), scatter plot (hubungan dua variabel), box plot (sebaran dan pencilan), dan heatmap (korelasi banyak variabel).
- Contoh:
Kode:
import matplotlib.pyplot as plt
df.groupby("bulan")["total"].sum().plot(kind="line")
plt.title("Tren Penjualan per Bulan")
plt.xlabel("Bulan")
plt.ylabel("Total Penjualan (Rp)")
plt.show()
4. STRUKTUR PROSES DATA SCIENCE
Proyek Data Science umumnya mengikuti alur yang berulang. Salah satu kerangka yang paling terkenal adalah CRISP-DM (Cross-Industry Standard Process for Data Mining) yang disusun sejak tahun 1996 dan masih banyak dipakai hingga sekarang.
Kode:
+---------------------------+
| 1. Memahami Masalah |
+-------------+-------------+
β
βΌ
+---------------------------+
| 2. Memahami Data |
+-------------+-------------+
β
βΌ
+---------------------------+
| 3. Menyiapkan Data | β bagian paling memakan waktu
+-------------+-------------+
β
βΌ
+---------------------------+
| 4. Membuat Model |
+-------------+-------------+
β
βΌ
+---------------------------+
| 5. Evaluasi | ββ jika belum sesuai, kembali ke tahap 1
+-------------+-------------+
β
βΌ
+---------------------------+
| 6. Penerapan (Deployment) |
+---------------------------+
Banyak praktisi memperkirakan bahwa sebagian besar waktu proyek, sering disebut sekitar 60β80%, habis untuk mencari, membersihkan, dan menyiapkan data. Membuat model justru bagian yang relatif singkat.
5. STATISTICS (STATISTIKA)
- Statistika adalah ilmu tentang cara mengumpulkan, mengolah, menyajikan, dan menarik kesimpulan dari data. Statistika adalah fondasi utama Data Science.
- Banyak konsep statistika yang dipakai hingga sekarang berumur ratusan tahun, seperti Teorema Bayes (diterbitkan 1763), distribusi normal yang dikembangkan Carl Friedrich Gauss (1809), korelasi Pearson (1890-an), uji t dari William Gosset (1908), dan konsep p-value yang dipopulerkan Ronald Fisher (1925).
- Statistika dibagi menjadi dua jenis utama:
- Statistika Deskriptif β meringkas data apa adanya. Contoh: rata-rata (mean), nilai tengah (median), nilai yang paling sering muncul (modus), rentang, dan simpangan baku (standar deviasi).
- Statistika Inferensial β menarik kesimpulan tentang populasi berdasarkan sampel. Contoh: uji hipotesis, interval kepercayaan, dan regresi.
- Konsep penting yang wajib dipahami:
- Populasi dan sampel β populasi adalah keseluruhan objek, sampel adalah sebagian yang diamati.
- Distribusi data β bentuk sebaran data, misalnya distribusi normal yang berbentuk lonceng.
- Pencilan (outlier) β data yang nilainya sangat jauh dari data lain dan bisa merusak hasil rata-rata.
- Korelasi bukan kausalitas β dua hal yang naik bersamaan belum tentu saling menyebabkan. Contoh klasik: penjualan es krim dan kasus tenggelam sama-sama naik di musim panas, padahal penyebabnya adalah cuaca panas.
- Signifikansi statistik β apakah sebuah perbedaan cukup kuat untuk tidak dianggap sebagai kebetulan.
- Tips: gunakan median, bukan rata-rata, untuk data yang memiliki pencilan, misalnya data gaji atau harga rumah.
6. MACHINE LEARNING DALAM DATA SCIENCE
- Machine Learning adalah cabang kecerdasan artifisial yang membuat komputer belajar pola dari data untuk membuat prediksi. Dalam Data Science, Machine Learning dipakai ketika analisis biasa tidak cukup untuk menjawab pertanyaan "apa yang akan terjadi?".
- Istilah Machine Learning dipopulerkan oleh Arthur Samuel pada tahun 1959. Banyak algoritmanya berakar dari statistika, misalnya regresi linear yang sudah dikenal sejak awal abad ke-19.
- Jenis masalah yang umum diselesaikan:
- Regresi β memprediksi angka, misalnya harga rumah atau jumlah penjualan bulan depan.
- Klasifikasi β memprediksi kategori, misalnya pelanggan akan berhenti berlangganan atau tidak.
- Clustering β mengelompokkan data tanpa label, misalnya segmentasi pelanggan.
- Library yang paling banyak dipakai adalah scikit-learn, yang dimulai sebagai proyek Google Summer of Code pada tahun 2007 dan dirilis publik pertama kali pada tahun 2010.
- Konsep penting: data dibagi menjadi data latih (train) dan data uji (test), model dievaluasi dengan metrik seperti akurasi atau R-squared, dan harus dihindari overfitting, yaitu kondisi ketika model terlalu hafal data latih sehingga gagal pada data baru.
- Contoh:
Kode:
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
X = df[["luas_tanah", "jumlah_kamar"]] # fitur
y = df["harga"] # target yang diprediksi
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
model = LinearRegression().fit(X_train, y_train)
print(model.score(X_test, y_test)) # nilai R-squared pada data uji
7. DATA ANALYSIS
- Data Analysis (analisis data) adalah proses memeriksa, membersihkan, mengubah, dan menafsirkan data untuk menemukan informasi yang berguna dalam pengambilan keputusan.
- Pendekatan Exploratory Data Analysis (EDA) diperkenalkan oleh John Tukey melalui bukunya pada tahun 1977. Inti EDA adalah "berkenalan" dengan data lewat ringkasan statistik dan grafik sebelum membuat kesimpulan atau model.
- Langkah-langkah EDA yang umum:
- Melihat ukuran data, nama kolom, dan tipe data
- Mencari data kosong (missing values) dan data duplikat
- Menghitung statistik deskriptif setiap kolom
- Melihat sebaran data dengan histogram dan box plot
- Mencari hubungan antarvariabel dengan scatter plot dan korelasi
- Mencatat temuan menarik dan pertanyaan lanjutan
- Data cleaning (pembersihan data) adalah bagian penting dari analisis, misalnya menyeragamkan penulisan "Jakarta", "jakarta", dan "DKI Jakarta", memperbaiki format tanggal, serta menangani nilai kosong.
- Prinsip klasik "Garbage In, Garbage Out": jika datanya buruk, hasil analisis dan model juga akan buruk, secanggih apa pun metodenya.
8. SIAPA ITU DATA SCIENTIST?
Data Scientist adalah profesional yang mengolah dan menganalisis data dengan statistika, pemrograman, dan Machine Learning untuk menghasilkan wawasan serta prediksi yang membantu pengambilan keputusan.
Mereka biasanya memakai Python atau R, SQL untuk mengambil data dari database, Jupyter Notebook, serta library seperti Pandas, NumPy, Matplotlib, dan scikit-learn.
Data Scientist biasanya melakukan hal-hal berikut:
- Berdiskusi dengan tim bisnis untuk memahami masalah yang ingin diselesaikan.
- Mengambil data dari berbagai sumber, seperti database, file Excel, API, dan survei.
- Membersihkan dan menyiapkan data agar siap dianalisis.
- Melakukan analisis eksploratif dan uji statistik.
- Membuat dan mengevaluasi model prediksi.
- Menyampaikan hasil dalam bentuk visualisasi dan cerita data (data storytelling) yang mudah dipahami orang non-teknis.
9. JENIS-JENIS PROFESI DI BIDANG DATA
Ada 4 profesi data yang paling umum, yaitu:
- Data Analyst
- Data Scientist
- Data Engineer
- Machine Learning Engineer
Data Analyst
Mereka menganalisis data historis untuk menjawab pertanyaan bisnis, membuat laporan, dan dashboard. Alat utamanya SQL, Excel, Python, dan tools visualisasi seperti Power BI atau Tableau.
Data Scientist
Mereka melangkah lebih jauh dengan statistika lanjutan dan Machine Learning untuk membuat prediksi dan menemukan pola yang tidak terlihat.
Data Engineer
Mereka membangun dan merawat "pipa data", yaitu sistem yang mengumpulkan, memindahkan, dan menyimpan data agar selalu tersedia dan rapi untuk dianalisis.
Machine Learning Engineer
Mereka mengubah model buatan Data Scientist menjadi sistem yang andal dan bisa dipakai banyak pengguna dalam aplikasi nyata.
10. BAGAIMANA SEBUAH PROYEK DATA SCIENCE BEKERJA?
Contoh: sebuah toko online ingin mengetahui pelanggan mana yang berisiko berhenti berbelanja.
- Merumuskan masalah: tim bisnis ingin mengurangi jumlah pelanggan yang berhenti berbelanja. Pertanyaannya menjadi "pelanggan mana yang kemungkinan tidak belanja lagi dalam 3 bulan ke depan?"
- Mengumpulkan data: riwayat transaksi, frekuensi belanja, keluhan, dan pemakaian voucher diambil dari database dengan SQL.
- Membersihkan data: data duplikat dibuang, data kosong ditangani, dan format tanggal diseragamkan dengan Pandas.
- Eksplorasi: grafik menunjukkan bahwa pelanggan yang lama tidak membuka aplikasi dan pernah mengeluh lebih sering berhenti belanja.
- Membuat model: model klasifikasi dilatih dengan scikit-learn untuk memprediksi risiko setiap pelanggan.
- Evaluasi: model diuji dengan data yang belum pernah dilihat, lalu hasilnya dibandingkan dengan kondisi nyata.
- Menyampaikan hasil: daftar pelanggan berisiko tinggi diberikan ke tim pemasaran untuk dikirimi penawaran khusus, disertai dashboard pemantauan.
Hasil akhir Data Science bukan sekadar model atau grafik, tetapi keputusan yang lebih baik berdasarkan data.
11. PERJALANAN DATA SCIENCE DARI MASA KE MASA
- 1763β1950: Fondasi Statistika β Teorema Bayes (1763), distribusi normal (1809), peta kolera John Snow (1854), korelasi Pearson (1890-an), uji t (1908), dan metode statistika Ronald Fisher (1925). Konsep-konsep ini masih dipakai setiap hari oleh Data Scientist.
- 1960β1990: Era Komputer Statistik β John Tukey menulis "The Future of Data Analysis" (1962), SAS (1976) dan SPSS (1968) dipakai untuk analisis statistik, Tukey memperkenalkan EDA (1977), dan Microsoft Excel hadir (1985).
- 1991β2007: Bahasa Pemrograman Data β Python (1991), R (1993), konsep data mining dan CRISP-DM (1996), Matplotlib (2003), NumPy (2006), dan Hadoop (2006) untuk mengolah big data.
- 2008β2014: Lahirnya Profesi Data Scientist β Pandas (2008), Kaggle sebagai platform kompetisi data (2010), scikit-learn (2010), Harvard Business Review menyebut Data Scientist sebagai pekerjaan paling seksi (2012), dan Jupyter Notebook (2014).
- 2015β2021: Era Deep Learning & Cloud β TensorFlow (2015), PyTorch (2016), Google Colab memberikan akses GPU gratis (2017β2018), pandas 1.0 (2020), dan Polars (2020).
- 2022βSekarang: Data Science dengan Bantuan AI β pandas 2.0 (2023), NumPy 2.0 (2024), asisten AI yang bisa menulis kode analisis dan membuat grafik dari perintah teks, serta meningkatnya perhatian pada etika dan privasi data, termasuk UU Pelindungan Data Pribadi di Indonesia (2022).
Ringkasnya, alat Data Science terus berganti, dari kalkulator, SPSS, dan Excel hingga Python dan AI, tetapi fondasi statistikanya tetap sama selama ratusan tahun. Inilah sebabnya statistika menjadi bekal yang tidak akan usang.
DATA SCIENTIST vs. DATA ANALYST
Data Scientist
- Lebih berorientasi pada prediksi dan pemodelan.
- Menjawab pertanyaan "apa yang akan terjadi?" dan "apa yang sebaiknya dilakukan?"
- Memakai statistika lanjutan dan Machine Learning.
- Banyak menulis kode dengan Python atau R.
- Tools yang digunakan antara lain Python, R, SQL, Jupyter, Pandas, scikit-learn, dan PyTorch.
Data Analyst
- Lebih berorientasi pada pelaporan dan penjelasan.
- Menjawab pertanyaan "apa yang terjadi?" dan "mengapa terjadi?"
- Memakai statistika deskriptif dan visualisasi.
- Banyak bekerja dengan SQL, spreadsheet, dan dashboard.
- Tools yang digunakan antara lain Excel, Google Sheets, SQL, Power BI, Tableau, dan Looker Studio.
MENGAPA BELAJAR DATA SCIENCE?
Data Ada di Mana-mana
Setiap transaksi, klik, unggahan, dan sensor menghasilkan data. Organisasi yang mampu mengolah data dengan baik bisa mengambil keputusan lebih cepat dan tepat.
Keputusan Berdasarkan Bukti
Data Science membantu mengganti keputusan berbasis perasaan atau kebiasaan dengan keputusan berbasis bukti yang bisa diukur.
Dibutuhkan di Semua Bidang
Bukan hanya perusahaan teknologi, tetapi juga perbankan, kesehatan, pertanian, pendidikan, pemerintahan, hingga olahraga membutuhkan kemampuan analisis data.
Fondasi untuk Belajar AI
Machine Learning dan AI dibangun di atas data dan statistika. Memahami Data Science adalah langkah pertama untuk memahami cara kerja AI.
Penting untuk Melakukannya dengan Benar
Analisis yang keliru, data yang bias, atau grafik yang menyesatkan bisa menghasilkan keputusan yang merugikan banyak orang. Karena itu, kejujuran dan ketelitian dalam mengolah data sangat penting.
ANALOGI PROSES DATA SCIENCE
Proses Data Science akan lebih mudah dipahami dengan analogi seorang detektif yang memecahkan kasus.
1. Mengumpulkan Data β Mengumpulkan Barang Bukti
- Detektif mengumpulkan sidik jari, rekaman CCTV, dan keterangan saksi
- Tidak semua bukti relevan, dan sebagian bisa menyesatkan
Ibarat penyelidikan: data mentah yang perlu dipilah dan dibersihkan.
2. Statistika & Analisis β Memeriksa Bukti
- Detektif mencari pola dan kejanggalan
- Membedakan kebetulan dari petunjuk yang sebenarnya
Ibarat penyelidikan: EDA dan uji statistik untuk menemukan pola yang bermakna.
3. Machine Learning β Memprediksi Langkah Berikutnya
- Berdasarkan pola kasus sebelumnya, detektif memperkirakan kejadian berikutnya
- Perkiraan bisa meleset, sehingga perlu terus diperbarui
Ibarat penyelidikan: model prediksi yang dilatih dari data masa lalu.
4. Visualisasi β Papan Penyelidikan
- Detektif menempelkan foto, peta, dan benang merah agar hubungan antarbukti terlihat jelas
- Membantu menjelaskan kasus kepada orang lain
Ibarat penyelidikan: grafik dan dashboard untuk menyampaikan temuan.
5. Kesimpulan
Data yang bersih + analisis yang teliti + model yang tepat + penyajian yang jelas = keputusan yang lebih baik.
BAHASA & TOOLS UNTUK DATA SCIENCE
Berikut adalah bahasa dan tools yang umum digunakan dalam Data Science:
1. Python
Bahasa paling populer untuk Data Science dan Machine Learning.
Ekosistem lengkap: NumPy, Pandas, Matplotlib, Seaborn, scikit-learn.
Gratis dan dipakai di industri maupun riset.
2. SQL
Bahasa untuk mengambil data dari database, distandarkan sejak tahun 1986.
Hampir semua data perusahaan tersimpan di database, sehingga SQL wajib dikuasai.
3. R
Bahasa khusus statistika yang dirilis pada tahun 1993.
Sangat kuat untuk analisis statistik dan visualisasi, populer di dunia akademik.
4. Excel & Google Sheets
Alat analisis data paling dikenal, cocok untuk data kecil hingga menengah.
Fitur PivotTable dan grafik masih sangat berguna untuk analisis cepat.
5. Jupyter Notebook & Google Colab
Lingkungan kerja interaktif untuk menulis kode, melihat hasil, dan membuat catatan.
Google Colab bisa dipakai langsung di browser tanpa instalasi.
6. Kaggle
Platform komunitas Data Science sejak tahun 2010.
Menyediakan ribuan dataset gratis, kompetisi, dan contoh notebook untuk belajar.
Kesimpulan Singkat
Bekal paling penting untuk mulai belajar Data Science:
- Statistika dasar: rata-rata, median, simpangan baku, distribusi, dan korelasi
- Python dengan Pandas, NumPy, dan Matplotlib
- SQL untuk mengambil data
- scikit-learn untuk Machine Learning dasar
- Kemampuan menjelaskan hasil analisis dengan bahasa yang mudah dipahami