🎯 Bagian 1: Apa Itu OLS? — Jantung Regresi Linear
🤔 Definisi OLS
Ordinary Least Squares (OLS) = metode estimasi yang mencari garis regresi dengan cara meminimalkan jumlah kuadrat residual (selisih antara nilai aktual dan prediksi).
Bayangkan Anda punya scatter plot (titik-titik data) dan seutas benang. Anda ingin pasang benang lurus yang “paling pas” melewati semua titik.
OLS mencari posisi benang yang membuat total jarak kuadrat dari semua titik ke benang itu paling kecil. Inilah garis regresi terbaik menurut OLS.
📊 Mengapa “Ordinary”?
Kata “ordinary” membedakan OLS dari varian lain seperti:
- Weighted Least Squares (WLS): Setiap observasi punya bobot berbeda
- Generalized Least Squares (GLS): Mengakomodasi korelasi error
- Two-Stage Least Squares (2SLS): Untuk masalah endogenitas
OLS adalah versi paling dasar dan paling sering dipakai.
📊 Rumus Koefisien OLS
Untuk simple regression (Y = b₀ + b₁X):
Untuk multiple regression, rumusnya dalam bentuk matriks:
Karena di bawah asumsi klasik, OLS menghasilkan estimator BLUE (Best Linear Unbiased Estimator) — ini adalah teorema Gauss-Markov yang akan kita bahas di Bagian 3.
🏠 Bagian 2: Contoh Nyata — Memprediksi Harga Rumah di Indonesia
🤔 Kasus: Prediksi Harga Rumah di Jakarta Selatan
Seorang agen properti ingin memprediksi harga rumah berdasarkan beberapa karakteristik. Data dari 50 transaksi rumah di Jakarta Selatan:
| Variabel | Simbol | Satuan | Mean | Std Dev |
|---|---|---|---|---|
| Harga rumah | Y | juta Rp | 3.500 | 1.200 |
| Luas bangunan | X₁ | m² | 120 | 35 |
| Jumlah kamar tidur | X₂ | unit | 3,2 | 0,8 |
| Usia bangunan | X₃ | tahun | 8 | 5 |
| Jarak ke MRT | X₄ | meter | 500 | 300 |
📊 Model Regresi
📊 Output OLS (dari software)
| Variabel | Coefficient | Std Error | t-stat | p-value |
|---|---|---|---|---|
| Intercept | 850 | 220 | 3,86 | 0,0003 |
| Luas (X₁) | 18,5 | 2,1 | 8,81 | <0,001 |
| Kamar (X₂) | 180 | 65 | 2,77 | 0,009 |
| Usia (X₃) | −25 | 8 | −3,13 | 0,004 |
| Jarak MRT (X₄) | −0,8 | 0,3 | −2,67 | 0,012 |
Model Statistics:
- R² = 0,82 (82% variasi harga dijelaskan model)
- Adjusted R² = 0,80
- F-statistic = 52,3 (p < 0,001)
🎯 Interpretasi Koefisien
- b₁ = 18,5: Setiap tambahan 1 m² luas bangunan, harga rumah naik rata-rata Rp18,5 juta — dengan asumsi kamar, usia, dan jarak ke MRT tetap.
- b₂ = 180: Setiap tambahan 1 kamar tidur, harga naik rata-rata Rp180 juta — ceteris paribus.
- b₃ = −25: Setiap tambahan 1 tahun usia bangunan, harga turun rata-rata Rp25 juta — ceteris paribus. (Rumah lama lebih murah, masuk akal!)
- b₄ = −0,8: Setiap tambahan 1 meter jarak ke MRT, harga turun rata-rata Rp800 ribu — ceteris paribus. (Makin dekat MRT, makin mahal!)
- b₀ = 850: Harga dasar (jika semua X = 0) = Rp850 juta. Tapi ini tidak bermakna karena tidak ada rumah dengan luas 0 m².
🎯 Contoh Prediksi
Rumah dengan: Luas 150 m², 4 kamar, usia 5 tahun, jarak 300 m ke MRT:
= 850 + 2.775 + 720 − 125 − 240
= Rp4.180 juta
- Luas bangunan adalah predictor paling kuat (koefisien terbesar setelah distandarisasi)
- Lokasi (MRT) sangat berpengaruh — setiap 100 m lebih dekat ke MRT = tambah Rp80 juta
- Depresiasi: Rumah kehilangan nilai Rp25 juta per tahun — penting untuk investasi
🏆 Bagian 3: Teorema Gauss-Markov & BLUE — Mengapa OLS “The Best”?
🤔 Apa Itu BLUE?
BLUE = Best Linear Unbiased Estimator. Ini adalah gelar “juara” untuk estimator statistik.
🏆 BLUE
Best · Linear · Unbiased · Estimator
Estimator linear yang tidak bias dan memiliki varians terkecil di antara semua estimator linear tidak bias lainnya.
📊 Bedah Istilah BLUE
| Istilah | Arti | Implikasi |
|---|---|---|
| Best | Varians paling kecil | Estimasi paling presisi, confidence interval paling sempit |
| Linear | Estimator berupa fungsi linear dari Y | b = ΣwᵢYᵢ (bobot linear) |
| Unbiased | E(b) = β (nilai harapan = parameter asli) | Tidak sistematis over/under-estimate |
| Estimator | Aturan untuk menduga parameter | OLS adalah salah satu estimator |
📊 Teorema Gauss-Markov
Teorema: “Di bawah asumsi klasik regresi linear, estimator OLS adalah BLUE.”
Bayangkan banyak pemanah menembak ke target:
- Unbiased: Rata-rata tembakan tepat di tengah target (tidak melenceng ke satu sisi)
- Best (minimum variance): Semua tembakan mengumpul rapat di sekitar titik tengah — tidak menyebar
🎯 Syarat Teorema Gauss-Markov
Teorema ini berlaku HANYA JIKA asumsi klasik terpenuhi:
- Model linear dalam parameter
- Sampling random
- Tidak ada perfect multicollinearity
- Zero conditional mean: E(u|X) = 0
- Homoskedastisitas: Var(u|X) = σ² (konstan)
OLS masih linear dan tidak bias (jika hanya asumsi 1-4 terpenuhi), tapi TIDAK LAGI “Best” — variansnya tidak minimum. Artinya: ada estimator lain yang lebih presisi.
Solusi: pakai WLS (jika heteroskedastisitas) atau GLS (jika ada autokorelasi).
Teorema Gauss-Markov memberi kita jaminan matematis bahwa OLS adalah pilihan terbaik — asalkan asumsinya terpenuhi. Inilah mengapa cek asumsi klasik itu WAJIB, bukan opsional.
🔍 Bagian 4: 7 Asumsi Klasik Regresi — Fondasi yang Tak Boleh Dilanggar
🤔 Mengapa Asumsi Klasik Penting?
Asumsi klasik adalah syarat agar OLS menjadi BLUE dan inferensi statistik (t-test, F-test, confidence interval) valid. Kalau asumsi dilanggar, hasil regresi bisa menyesatkan.
📊 7 Asumsi Klasik
A1. Linearitas
Model linear dalam parameter. Y = β₀ + β₁X₁ + … + u
Cek: Scatter plot, residual plot
A2. Random Sampling
Sampel diambil secara acak dari populasi
Cek: Desain riset
A3. No Perfect Collinearity
Tidak ada korelasi sempurna antar X
Cek: VIF < 10
A4. Zero Conditional Mean
E(u|X) = 0 — error tidak berkorelasi dengan X
Cek: Teori, tidak ada omitted variable
A5. Homoskedastisitas
Var(u|X) = σ² — varians error konstan
Cek: Breusch-Pagan, White test, residual plot
A6. No Autocorrelation
Cov(uᵢ, uⱼ) = 0 — error saling bebas
Cek: Durbin-Watson (untuk time series)
A7. Normalitas Error (opsional)
u ~ N(0, σ²) — untuk inferensi di sampel kecil
Cek: Q-Q plot, Shapiro-Wilk
🔍 Detail Tiap Asumsi
A1. Linearitas
Model harus linear dalam parameter (β), bukan harus linear dalam variabel. Contoh:
- ✅ Linear: Y = β₀ + β₁X + β₂X² + u (kuadrat masih linear dalam β)
- ❌ Non-linear: Y = β₀ + X^β₁ + u (β di eksponen = non-linear)
A2. Random Sampling
Observasi harus independen satu sama lain. Pelanggaran umum: cluster sampling (misal: survei satu keluarga → anggota keluarga saling terkait).
A3. No Perfect Collinearity
Tidak boleh ada dua variabel X yang identik atau kombinasi linear sempurna.
Memasukkan “luas m²” dan “luas ft²” bersamaan (keduanya informasi sama, hanya beda konversi).
Solusi: Hapus salah satu, atau cek VIF.
A4. Zero Conditional Mean (Paling Krusial!)
Artinya: error (u) tidak boleh berkorelasi dengan variabel X. Kalau dilanggar → endogeneity bias.
Penyebab endogeneity:
- Omitted variable: Variabel penting tidak dimasukkan (misal: “kualitas lokasi” tidak teramati)
- Measurement error: X diukur dengan error
- Simultaneity: Y dan X saling memengaruhi (reverse causality)
A5. Homoskedastisitas
Varians error harus konstan untuk semua observasi.
Dalam model harga rumah, error untuk rumah mewah (harga tinggi) cenderung lebih besar daripada rumah sederhana. Varians error tidak konstan.
Akibat: OLS masih tidak bias, tapi standard error salah → t-test dan confidence interval tidak valid.
Solusi: Robust standard errors (White’s SE) atau WLS.
A6. No Autocorrelation
Error tidak boleh berkorelasi antar observasi. Masalah khas data time series.
Cek: Durbin-Watson statistic (1,5 – 2,5 = aman).
A7. Normalitas Error
Dibutuhkan untuk sampel kecil agar t-test dan F-test valid. Untuk sampel besar (n > 100), asumsi ini bisa dilonggarkan karena Central Limit Theorem.
- A4 (Zero Conditional Mean) — PALING PENTING. Kalau ini dilanggar, semua inferensi runtuh.
- A5 (Homoskedastisitas) — Sering dilanggar, tapi bisa diatasi dengan robust SE.
- A6 (No Autocorrelation) — Penting untuk time series.
- A7 (Normalitas) — Tidak terlalu kritis untuk sampel besar.
📐 Bagian 5: Asumsi LINE — Mnemonic untuk 4 Pilar Regresi
🤔 Mnemonic LINE
Untuk memudahkan mengingat, 4 asumsi utama regresi sering diringkas sebagai LINE:
| Huruf | Asumsi | Arti | Cara Cek |
|---|---|---|---|
| L | Linearity | Hubungan X dan Y linear | Scatter plot, residual vs X plot |
| I | Independence | Error saling bebas | Durbin-Watson (time series) |
| N | Normality | Error berdistribusi Normal | Q-Q plot, Shapiro-Wilk |
| E | Equal Variance | Varians error konstan (homoskedastisitas) | Residual vs fitted plot, Breusch-Pagan |
Regresi seperti rumah dengan 4 pilar LINE. Kalau salah satu pilar rapuh, rumah bisa roboh. Kita harus cek keempatnya sebelum “tinggal” di rumah regresi kita.
🔍 Detail Tiap Pilar LINE
L — Linearity
Cara cek: Buat scatter plot X vs Y, atau plot residual vs X.
- ✅ Baik: Titik-titik tersebar acak di sekitar garis 0
- ❌ Buruk: Titik-titik membentuk pola kurva (U-shape, dll)
Solusi jika dilanggar: Transformasi X atau Y (log, sqrt), atau pakai polynomial regression.
I — Independence
Cara cek: Durbin-Watson test (terutama untuk data time series).
- ✅ Baik: DW statistic antara 1,5 dan 2,5
- ❌ Buruk: DW mendekati 0 (autokorelasi positif) atau mendekati 4 (negatif)
N — Normality
Cara cek:
- Histogram residual → bentuk lonceng
- Normal probability plot (Q-Q plot) → titik mengikuti garis lurus
- Shapiro-Wilk test pada residual
Solusi jika dilanggar: Transformasi Y (log, Box-Cox) atau pakai bootstrap.
E — Equal Variance (Homoskedastisitas)
Cara cek: Plot residual vs predicted value (Ŷ).
- ✅ Baik: Titik tersebar acak dengan sebaran konstan
- ❌ Buruk: Pola “corong” (makin lebar atau makin sempit) → heteroskedastisitas
Solusi jika dilanggar: Transformasi Y (log), atau pakai robust standard errors (White’s SE).
“Regresi tanpa cek LINE adalah ramalan tanpa dasar.”
Luangkan waktu 10 menit untuk cek LINE. Kalau ada yang dilanggar, perbaiki sebelum interpretasi.
🔬 Bagian 6: Diagnostik Masalah & Solusi Praktis
🤔 Apa yang Harus Dilakukan Jika Asumsi Dilanggar?
Setiap pelanggaran asumsi punya diagnostik dan solusi spesifik. Berikut panduan lengkap:
| Masalah | Diagnostik | Solusi |
|---|---|---|
| Non-linearity | Residual plot menunjukkan pola kurva | |
| Multicollinearity | VIF > 5 (atau > 10) | |
| Heteroskedastisitas | Residual plot pola corong Breusch-Pagan p < 0,05 |
|
| Autokorelasi | Durbin-Watson < 1,5 atau > 2,5 | |
| Non-normality | Q-Q plot menyimpang Shapiro-Wilk p < 0,05 |
|
| Endogeneity | Sulit dideteksi langsung Hausman test |
|
| Outlier | Residual > 3× std dev Cook’s distance > 1 |
🎯 Panduan Praktis: Urutan Diagnostik
- Fit model OLS dulu
- Cek residual plot (residual vs fitted, residual vs X)
- Cek VIF untuk multicollinearity
- Cek normalitas residual (Q-Q plot)
- Untuk time series: cek Durbin-Watson
- Cek outlier (Cook’s distance, leverage)
- Perbaiki masalah yang ditemukan
- Re-fit model dan ulangi diagnostik
Setelah fit model, ditemukan:
- Residual plot menunjukkan pola corong → heteroskedastisitas
- VIF semua < 3 → multicollinearity OK
- Q-Q plot sedikit menyimpang di ekor kanan → mild non-normality
- DW = 1,95 → no autocorrelation (data cross-sectional)
- Transformasi Y ke log → heteroskedastisitas berkurang
- Pakai robust standard errors sebagai backup
- Model baru:
log(Harga) = b₀ + b₁(Luas) + ...
- ❌ Langsung percaya output software tanpa cek asumsi
- ❌ Hapus outlier tanpa investigasi (bisa kehilangan informasi penting)
- ❌ Pakai robust SE sebagai “magic bullet” tanpa cek akar masalah
- ❌ Transformasi data tanpa interpretasi yang jelas
🚨 Bagian 7: 7 Kesalahan Fatal dalam Penerapan OLS
🚨 Mengapa Section Ini Penting?
OLS adalah alat yang paling sering disalahgunakan dalam riset bisnis dan ekonomi. Berikut 7 kesalahan yang harus Anda hindari:
❌ Kesalahan #1: “Korelasi = Kausalitas”
Yang salah: “Jarak ke MRT berhubungan negatif dengan harga rumah, berarti MRT MENYEBABKAN harga naik.”
Mengapa salah: OLS hanya menunjukkan asosiasi, bukan kausalitas. Bisa ada omitted variable (misal: daerah dekat MRT juga punya fasilitas lain yang menaikkan harga).
Solusi: Gunakan kata “terasosiasi” atau “memprediksi”, bukan “menyebabkan”. Untuk klaim kausal, butuh eksperimen (RCT) atau metode kausal (IV, diff-in-diff).
❌ Kesalahan #2: Tidak Cek Asumsi Klasik
Yang salah: Langsung interpretasi output regresi tanpa cek asumsi.
Akibat: Kalau asumsi dilanggar, inferensi statistik tidak valid.
Solusi: Selalu cek LINE + multicollinearity + outlier. Dokumentasikan di laporan.
❌ Kesalahan #3: Omitted Variable Bias
Yang salah: Model harga rumah hanya pakai luas dan kamar, tapi tidak pakai lokasi.
Akibat: Koefisien luas bisa bias karena menangkap efek lokasi yang seharusnya terpisah.
Solusi: Masukkan semua variabel relevan berdasarkan teori. Kalau tidak teramati, pakai proxy atau metode IV.
❌ Kesalahan #4: Ekstrapolasi Berlebihan
Yang salah: Model dari data rumah 50-200 m² dipakai untuk prediksi rumah 1.000 m².
Mengapa salah: Hubungan linear mungkin tidak berlaku di luar rentang data.
Solusi: Prediksi hanya dalam rentang data (interpolasi). Kalau harus ekstrapolasi, akui ketidakpastiannya besar.
❌ Kesalahan #5: Hanya Lihat R²
Yang salah: “R² = 0,95, berarti model sempurna!”
Mengapa salah: R² tinggi bisa karena overfitting, atau data yang “kebetulan” linear tapi tidak punya hubungan kausal.
Solusi: Selalu cek juga: (1) signifikansi koefisien, (2) residual plot, (3) logika bisnis, (4) adjusted R² untuk multiple regression.
❌ Kesalahan #6: Interpretasi Intercept Tanpa Konteks
Yang salah: “b₀ = 850, berarti rumah dengan luas 0 m² harganya Rp850 juta!”
Mengapa salah: X = 0 mungkin di luar rentang data. Dalam contoh, data luas dari 50-200 m². Nilai X = 0 tidak ada di data.
Solusi: Interpretasi intercept hanya bermakna kalau X = 0 masuk akal dan ada dalam rentang data. Kalau tidak, cukup laporkan sebagai “konstanta matematis”.
❌ Kesalahan #7: Abaikan Multicollinearity
Yang salah: Masukkan “luas m²” dan “luas ft²” bersamaan.
Akibat: Koefisien tidak stabil, standard error meledak, interpretasi tidak masuk akal.
Solusi: Cek VIF. Kalau > 5, pertimbangkan hapus/kombinasi predictor.
Sebelum submit riset, cek ulang:
- ☑️ Sudah hindari klaim kausal dari korelasi?
- ☑️ Sudah cek asumsi LINE?
- ☑️ Sudah cek multicollinearity (VIF)?
- ☑️ Sudah cek outlier (Cook’s distance)?
- ☑️ Sudah hindari ekstrapolasi?
- ☑️ Sudah cek adjusted R² (untuk multiple regression)?
- ☑️ Sudah interpretasi intercept dengan hati-hati?
✅ Bagian 8: Ringkasan & Checklist Praktis OLS
🗺️ Peta Konsep OLS
| Konsep | Inti | Rumus/Konsep Kunci |
|---|---|---|
| OLS | Minimalkan jumlah kuadrat residual | min Σeᵢ² |
| BLUE | Best Linear Unbiased Estimator | Varians minimum di antara estimator linear tidak bias |
| Gauss-Markov | OLS = BLUE di bawah asumsi klasik | A1-A5 terpenuhi |
| Asumsi LINE | 4 pilar validitas model | Linearity, Independence, Normality, Equal variance |
| Multicollinearity | Korelasi tinggi antar X | VIF > 5 = masalah |
| Heteroskedastisitas | Varians error tidak konstan | Robust SE atau transformasi |
📋 Checklist 10 Langkah Penerapan OLS
- ☑️ Sudah tentukan model berdasarkan teori/logika bisnis?
- ☑️ Sudah cek descriptive statistics semua variabel?
- ☑️ Sudah cek multicollinearity (VIF)?
- ☑️ Sudah fit model OLS?
- ☑️ Sudah cek overall F-test (untuk multiple regression)?
- ☑️ Sudah cek asumsi LINE (residual analysis)?
- ☑️ Sudah cek outlier (Cook’s distance)?
- ☑️ Sudah interpretasi koefisien dengan “ceteris paribus”?
- ☑️ Sudah hindari klaim kausal?
- ☑️ Sudah validasi model (train/test split atau cross-validation)?
🎯 Formula Sheet Ringkas
min Σ(Yᵢ − Ŷᵢ)²
b₁ = Σ[(Xᵢ − X̄)(Yᵢ − Ȳ)] / Σ(Xᵢ − X̄)²
b₀ = Ȳ − b₁X̄
b = (X’X)⁻¹ X’Y
R² = SSR / SST = 1 − (SSE / SST)
VIFᵢ = 1 / (1 − Rᵢ²)
“OLS adalah alat yang powerful, tapi hanya bekerja dengan baik jika asumsinya terpenuhi. Cek asumsi dulu, baru percaya hasilnya.”
Selalu laporkan: (1) persamaan regresi, (2) R² dan adjusted R², (3) hasil cek asumsi LINE, (4) VIF untuk multicollinearity, (5) signifikansi koefisien, (6) interpretasi bisnis dengan “ceteris paribus”, (7) keterbatasan model.
📊 OLS Regresi · Contoh Nyata & Asumsi LINE SMA & S1 🇮🇩 Indonesia
📈 Data Asli & Garis Regresi
📉 Residual (e = Y − Ŷ)
🏠 1. Contoh Nyata: Memprediksi Harga Rumah (Global)
Kasus: Seorang agen properti ingin memprediksi harga jual rumah berdasarkan luas tanah (m²) dan jumlah kamar tidur.
Data (10 rumah):
| No | Luas Tanah (m²) X₁ |
Kamar Tidur X₂ |
Harga (juta Rp) Y |
|---|---|---|---|
| 1 | 45 | 2 | 320 |
| 2 | 60 | 3 | 450 |
| 3 | 55 | 2 | 380 |
| 4 | 80 | 4 | 580 |
| 5 | 70 | 3 | 510 |
| 6 | 90 | 4 | 650 |
| 7 | 50 | 2 | 350 |
| 8 | 75 | 3 | 540 |
| 9 | 100 | 5 | 720 |
| 10 | 65 | 3 | 470 |
Model regresi:
β̂₀ = 25,3 | β̂₁ = 5,8 | β̂₂ = 42,1
➜ Model: Harga = 25,3 + 5,8×Luas + 42,1×Kamar
Interpretasi:
- β̂₁ = 5,8: Setiap tambahan 1 m² luas tanah, harga rumah naik rata-rata Rp 5,8 juta (dengan asumsi jumlah kamar tetap).
- β̂₂ = 42,1: Setiap tambahan 1 kamar tidur, harga rumah naik rata-rata Rp 42,1 juta (dengan asumsi luas tetap).
- β̂₀ = 25,3: Harga dasar (intercept) jika luas dan kamar = 0 (hanya nilai teoretis).
Harga = 25,3 + 5,8(85) + 42,1(4) = 25,3 + 493 + 168,4 = Rp 686,7 juta
💡 Catatan: Ini adalah contoh sederhana. Dalam praktik, model bisa memiliki lebih banyak prediktor (lokasi, usia bangunan, dll.).
🇮🇩 2. Contoh Kasus Indonesia: Prediksi Omzet UMKM
Data (10 hari observasi):
| No | Pengunjung (orang) X₁ |
Rating (1-5) X₂ |
Omzet (ribu Rp) Y |
|---|---|---|---|
| 1 | 25 | 4.2 | 850 |
| 2 | 32 | 4.5 | 1.050 |
| 3 | 18 | 3.8 | 620 |
| 4 | 40 | 4.7 | 1.320 |
| 5 | 22 | 4.0 | 780 |
| 6 | 35 | 4.3 | 1.150 |
| 7 | 15 | 3.5 | 500 |
| 8 | 45 | 4.8 | 1.480 |
| 9 | 28 | 4.1 | 920 |
| 10 | 38 | 4.6 | 1.250 |
Model regresi:
β̂₀ = -120,5 | β̂₁ = 28,3 | β̂₂ = 45,7
➜ Model: Omzet = -120,5 + 28,3×Pengunjung + 45,7×Rating
📊 R² = 0,961 | RMSE = 42,8
Interpretasi dalam konteks Indonesia:
- β̂₁ = 28,3: Setiap tambahan 1 pengunjung, omzet naik rata-rata Rp 28.300 (dengan asumsi rating tetap).
- β̂₂ = 45,7: Setiap kenaikan 1 poin rating, omzet naik rata-rata Rp 45.700 (dengan asumsi pengunjung tetap).
- β̂₀ = -120,5: Jika tidak ada pengunjung dan rating 0, omzet teoretis negatif (hanya nilai matematis, tidak realistis).
Jika hari ini ada 30 pengunjung dengan rating 4.3:
Omzet = -120,5 + 28,3(30) + 45,7(4,3) = -120,5 + 849 + 196,5 = Rp 925.000
💡 Wawasan untuk Pelaku UMKM:
- Rating sangat berpengaruh: Kenaikan 0,5 rating bisa menambah omzet ~Rp 22.850.
- Jumlah pengunjung: Tambahan 5 pengunjung = tambahan omzet ~Rp 141.500.
- Strategi: Fokus pada kualitas layanan (rating) dan promosi untuk menarik pengunjung.
📍 Sumber: Data simulasi berdasarkan studi UMKM kuliner di DKI Jakarta (2024).
📋 3. Syarat Data untuk Regresi OLS
Agar hasil regresi OLS valid dan dapat diandalkan, data harus memenuhi beberapa syarat berikut:
- Jumlah sampel (n) > jumlah prediktor (p) — minimal n ≥ p + 10 untuk hasil yang stabil.
- Tidak ada missing value (data hilang) — setiap observasi harus lengkap untuk semua variabel.
- Variabel numerik — variabel prediktor dan respons harus berupa angka (skala interval/rasio).
- Tidak ada multikolinearitas sempurna — tidak boleh ada prediktor yang merupakan kombinasi linear dari prediktor lain.
- Data berasal dari populasi yang sama — observasi independen satu sama lain.
- Hanya 8 data untuk 5 prediktor (n terlalu kecil).
- Ada kolom “suhu Celcius” dan “suhu Fahrenheit” (multikolinearitas sempurna).
- Ada data kosong pada beberapa baris.
⚖️ 4. Asumsi Klasik Regresi: LINE
Asumsi klasik regresi OLS sering disingkat dengan LINE (Linearitas, Independensi, Normalitas, dan Homoskedastisitas). Ini adalah syarat agar estimator OLS bersifat BLUE (Best Linear Unbiased Estimator).
Linearitas (Linearitas)
Arti: Hubungan antara variabel prediktor (X) dan respons (Y) bersifat linear dalam parameter β.
- Bukan berarti hubungan X-Y harus garis lurus — kita bisa menambahkan X² atau log(X) selama model tetap linear dalam β.
- Cek: Plot scatter Y vs X. Jika pola melengkung, coba transformasi (log, kuadrat, dll.).
❌ Contoh salah: Y = β₀ + Xβ₁ + ε (tidak linear dalam β).
Independensi (Independence)
Arti: Residual (ε) antar observasi tidak saling berkorelasi. Artinya, error pada satu observasi tidak mempengaruhi error observasi lain.
- Dilanggar jika: Data time series (misal, harga saham hari ini dipengaruhi hari kemarin), atau data berkelompok (siswa dalam satu kelas).
- Cek: Plot residual vs urutan data (index plot). Jika ada pola, ada autokorelasi.
Normalitas (Normality)
Arti: Residual (ε) berdistribusi normal dengan mean 0 dan variansi σ².
- Diperlukan untuk: Uji hipotesis (p-value), interval kepercayaan, dan prediksi interval.
- Cek: Q-Q plot residual, atau uji Shapiro-Wilk.
- Catatan: Untuk sampel besar (n > 30), asumsi normalitas bisa dilonggarkan berkat Central Limit Theorem.
Homoskedastisitas (Equal Variance)
Arti: Variansi residual konstan (σ²) untuk semua nilai X. Tidak boleh membesar atau mengecil seiring perubahan X.
- Dilanggar jika: Ada pola melebar (heteroskedastisitas) pada plot residual vs fitted values.
- Akibat: Standard error menjadi tidak akurat → uji t dan F tidak valid.
📌 Ringkasan Asumsi LINE
| Asumsi | Arti | Cara Cek |
|---|---|---|
| Linearitas | Hubungan linear dalam parameter | Scatter plot Y vs X, residual vs fitted |
| Independensi | Residual tidak berkorelasi antar observasi | Plot residual vs urutan data, Durbin-Watson |
| Normalitas | Residual berdistribusi normal | Q-Q plot, Shapiro-Wilk test |
| Equal Variance (Homoskedastisitas) | Variansi residual konstan | Plot residual vs fitted, Breusch-Pagan test |
🔍 5. Cara Mendeteksi Pelanggaran Asumsi
Diagnostik regresi: Setelah membuat model, kita harus memeriksa apakah asumsi terpenuhi.
📊 Plot Residual vs Fitted
- Baik: Titik tersebar acak di sekitar 0, tidak ada pola.
- Buruk: Ada pola melengkung (nonlinearitas) atau melebar (heteroskedastisitas).
📈 Q-Q Plot (Normalitas)
- Baik: Titik mengikuti garis diagonal.
- Buruk: Titik menyimpang jauh dari garis (terutama di ujung).
📉 Scale-Location Plot
- Baik: Garis merah relatif horizontal (variansi konstan).
- Buruk: Garis naik/turun (heteroskedastisitas).
📋 Uji Statistik
- Normalitas: Shapiro-Wilk (p > 0.05 → normal).
- Homoskedastisitas: Breusch-Pagan (p > 0.05 → homoskedastis).
- Independensi: Durbin-Watson (nilai ~2 → independen).
plot(lm_model) untuk melihat 4 grafik diagnostik sekaligus. Di Python, gunakan statsmodels dan plot_acf untuk autokorelasi.
📚 Referensi Terbaik untuk Asumsi Klasik
- 📖 Applied Linear Regression — Sanford Weisberg. Bab tentang diagnosa regresi sangat lengkap.
- 📖 Regression Diagnostics: Identifying Influential Data and Sources of Collinearity — Belsley, Kuh, Welsch. Buku klasik tentang deteksi masalah.
- 📖 Introductory Econometrics — Wooldridge. Bab 4-8 membahas asumsi dan konsekuensi pelanggarannya.
- 📖 Statistics for Business and Economics — Anderson, Sweeney, Williams. Penjelasan asumsi LINE dengan contoh bisnis.
- 🇮🇩 Untuk konteks Indonesia: BPS (Badan Pusat Statistik) — Data UMKM dan ekonomi kreatif Indonesia.
💡 Untuk latihan: Coba gunakan data Boston Housing atau mtcars di R/Python dan periksa asumsi LINE dengan plot diagnostik.