🎯 “OLS adalah alat yang powerful, tapi hanya bekerja dengan baik jika asumsinya terpenuhi. Cek asumsi dulu, baru percaya hasilnya.”
🎯 Bagian 1: Apa Itu OLS? — Jantung Regresi Linear
🤔 Definisi OLS
Ordinary Least Squares (OLS) = metode estimasi yang mencari garis regresi dengan cara meminimalkan jumlah kuadrat residual (selisih antara nilai aktual dan prediksi).
min Σ(Yᵢ − Ŷᵢ)² = min Σeᵢ²
🎯 Analogi Pasang Benang:
Bayangkan Anda punya scatter plot (titik-titik data) dan seutas benang. Anda ingin pasang benang lurus yang “paling pas” melewati semua titik. OLS mencari posisi benang yang membuat total jarak kuadrat dari semua titik ke benang itu paling kecil.
Bayangkan Anda punya scatter plot (titik-titik data) dan seutas benang. Anda ingin pasang benang lurus yang “paling pas” melewati semua titik. OLS mencari posisi benang yang membuat total jarak kuadrat dari semua titik ke benang itu paling kecil.
📊 Rumus Koefisien OLS
b₁ = Σ[(Xᵢ − X̄)(Yᵢ − Ȳ)] / Σ(Xᵢ − X̄)²
b₀ = Ȳ − b₁X̄
Untuk multiple regression, dalam bentuk matriks:
b = (X’X)⁻¹ X’Y
🏠 Bagian 2: Contoh Nyata — Prediksi Harga Rumah di Indonesia
🤔 Kasus: Prediksi Harga Rumah di Jakarta Selatan
Seorang agen properti ingin memprediksi harga rumah berdasarkan beberapa karakteristik. Data dari 50 transaksi rumah:
| Variabel | Simbol | Satuan | Coefficient | p-value |
|---|---|---|---|---|
| Intercept | b₀ | juta Rp | 850 | 0,0003 |
| Luas bangunan | X₁ | m² | 18,5 | <0,001 |
| Jumlah kamar | X₂ | unit | 180 | 0,009 |
| Usia bangunan | X₃ | tahun | −25 | 0,004 |
| Jarak ke MRT | X₄ | meter | −0,8 | 0,012 |
Harga = 850 + 18,5(Luas) + 180(Kamar) − 25(Usia) − 0,8(JarakMRT)
📝 Interpretasi Koefisien:
- b₁ = 18,5: Setiap tambahan 1 m², harga naik Rp18,5 juta (ceteris paribus).
- b₃ = −25: Setiap tahun usia bangunan, harga turun Rp25 juta (depresiasi).
- b₄ = −0,8: Setiap 100 m lebih dekat MRT, harga naik Rp80 juta!
💡 Insight Bisnis:
Lokasi (MRT) adalah predictor paling kuat setelah distandarisasi. Dekat MRT = harga premium. Ini menjelaskan mengapa apartemen dekat stasiun MRT di Jakarta harganya 2-3× lebih mahal.
Lokasi (MRT) adalah predictor paling kuat setelah distandarisasi. Dekat MRT = harga premium. Ini menjelaskan mengapa apartemen dekat stasiun MRT di Jakarta harganya 2-3× lebih mahal.
🏆 Bagian 3: Teorema Gauss-Markov & BLUE
🤔 Apa Itu BLUE?
BLUE = Best Linear Unbiased Estimator — gelar “juara” untuk estimator statistik.
🏆 BLUE
Best · Linear · Unbiased · Estimator
Estimator linear yang tidak bias dan memiliki varians terkecil di antara semua estimator linear tidak bias lainnya.
🎯 Analogi Panahan:
Bayangkan banyak pemanah menembak ke target:
Bayangkan banyak pemanah menembak ke target:
- Unbiased: Rata-rata tembakan tepat di tengah target (tidak melenceng)
- Best (minimum variance): Semua tembakan mengumpul rapat — tidak menyebar
⚠️ Jika Asumsi Dilanggar:
OLS masih linear dan tidak bias, tapi TIDAK LAGI “Best” — variansnya tidak minimum. Solusi: pakai WLS (heteroskedastisitas) atau GLS (autokorelasi).
OLS masih linear dan tidak bias, tapi TIDAK LAGI “Best” — variansnya tidak minimum. Solusi: pakai WLS (heteroskedastisitas) atau GLS (autokorelasi).
🔍 Bagian 4: 7 Asumsi Klasik Regresi (LINE + Lainnya)
📊 7 Asumsi Klasik (Mnemonic: LINE + 3)
| # | Asumsi | Cara Cek | Kritis? |
|---|---|---|---|
| A1 | Linearitas | Residual plot, scatter plot | 🔴 Tinggi |
| A2 | Random Sampling | Desain riset | 🟡 Sedang |
| A3 | No Perfect Collinearity | VIF < 10 | 🔴 Tinggi |
| A4 | Zero Conditional Mean | Teori, omitted variable | 🔴🔴 PALING KRITIS |
| A5 | Homoskedastisitas | Breusch-Pagan, residual plot | 🟡 Sedang |
| A6 | No Autocorrelation | Durbin-Watson | 🟡 Time series |
| A7 | Normalitas Error | Q-Q plot, Shapiro-Wilk | 🟢 Rendah (n besar) |
⚠️ Hierarki Penting:
- A4 (Zero Conditional Mean) — PALING PENTING. Kalau dilanggar, semua inferensi runtuh.
- A5 (Homoskedastisitas) — Sering dilanggar, bisa diatasi dengan robust SE.
- A7 (Normalitas) — Tidak kritis untuk sampel besar (CLT).
📐 Bagian 5: LINE — Mnemonic 4 Pilar Regresi
🤔 Mnemonic LINE
| Huruf | Asumsi | Arti | Cara Cek |
|---|---|---|---|
| L | Linearity | Hubungan X-Y linear | Scatter plot, residual vs X |
| I | Independence | Error saling bebas | Durbin-Watson |
| N | Normality | Error berdistribusi Normal | Q-Q plot, Shapiro-Wilk |
| E | Equal Variance | Varians error konstan | Residual vs fitted plot |
🏗️ Analogi Bangun Rumah:
Regresi seperti rumah dengan 4 pilar LINE. Kalau salah satu pilar rapuh, rumah bisa roboh. Kita harus cek keempatnya sebelum “tinggal” di rumah regresi kita.
Regresi seperti rumah dengan 4 pilar LINE. Kalau salah satu pilar rapuh, rumah bisa roboh. Kita harus cek keempatnya sebelum “tinggal” di rumah regresi kita.
🚨 Bagian 6: 7 Kesalahan Fatal dalam Penerapan OLS
❌ Kesalahan #1: “Korelasi = Kausalitas”
OLS hanya menunjukkan asosiasi, bukan kausalitas. Untuk klaim kausal, butuh eksperimen (RCT) atau metode IV.
OLS hanya menunjukkan asosiasi, bukan kausalitas. Untuk klaim kausal, butuh eksperimen (RCT) atau metode IV.
❌ Kesalahan #2: Tidak Cek Asumsi Klasik
Langsung interpretasi output regresi tanpa cek asumsi = inferensi tidak valid.
Langsung interpretasi output regresi tanpa cek asumsi = inferensi tidak valid.
❌ Kesalahan #3: Omitted Variable Bias
Variabel penting tidak dimasukkan → koefisien bias. Solusi: masukkan semua variabel relevan berdasarkan teori.
Variabel penting tidak dimasukkan → koefisien bias. Solusi: masukkan semua variabel relevan berdasarkan teori.
❌ Kesalahan #4: Ekstrapolasi Berlebihan
Prediksi hanya dalam rentang data (interpolasi). Kalau harus ekstrapolasi, akui ketidakpastiannya besar.
Prediksi hanya dalam rentang data (interpolasi). Kalau harus ekstrapolasi, akui ketidakpastiannya besar.
❌ Kesalahan #5: Hanya Lihat R²
R² tinggi bisa karena overfitting. Cek juga: signifikansi koefisien, residual plot, logika bisnis.
R² tinggi bisa karena overfitting. Cek juga: signifikansi koefisien, residual plot, logika bisnis.
❌ Kesalahan #6: Interpretasi Intercept Tanpa Konteks
X = 0 mungkin di luar rentang data. Interpretasi intercept hanya bermakna kalau X = 0 masuk akal.
X = 0 mungkin di luar rentang data. Interpretasi intercept hanya bermakna kalau X = 0 masuk akal.
❌ Kesalahan #7: Abaikan Multicollinearity
Cek VIF. Kalau > 5, pertimbangkan hapus/kombinasi predictor.
Cek VIF. Kalau > 5, pertimbangkan hapus/kombinasi predictor.
💡 Self-Check Sebelum Submit Riset:
☑️ Sudah hindari klaim kausal? ☑️ Sudah cek LINE? ☑️ Sudah cek VIF? ☑️ Sudah cek outlier? ☑️ Sudah cek adjusted R²?
☑️ Sudah hindari klaim kausal? ☑️ Sudah cek LINE? ☑️ Sudah cek VIF? ☑️ Sudah cek outlier? ☑️ Sudah cek adjusted R²?
🔬 Bagian 7: Diagnostik & Solusi Praktis
| Masalah | Diagnostik | Solusi |
|---|---|---|
| Non-linearity | Residual plot pola kurva | Transformasi X/Y, polynomial regression |
| Multicollinearity | VIF > 5 | Hapus/kombinasi predictor, Ridge |
| Heteroskedastisitas | Breusch-Pagan p < 0,05 | Robust SE (White’s), WLS |
| Autokorelasi | DW < 1,5 atau > 2,5 | Lagged variable, ARIMA, GLS |
| Non-normality | Shapiro-Wilk p < 0,05 | Transformasi Y, bootstrap |
| Endogeneity | Hausman test | IV, 2SLS, Panel data |
| Outlier | Cook’s distance > 1 | Robust regression, investigasi |
🎯 Urutan Diagnostik Praktis
- Fit model OLS
- Cek residual plot (residual vs fitted, residual vs X)
- Cek VIF untuk multicollinearity
- Cek normalitas residual (Q-Q plot)
- Untuk time series: cek Durbin-Watson
- Cek outlier (Cook’s distance, leverage)
- Perbaiki masalah yang ditemukan
- Re-fit model dan ulangi diagnostik
✅ Bagian 8: Checklist 10 Langkah Penerapan OLS
- ☑️ Tentukan model berdasarkan teori/logika bisnis
- ☑️ Cek descriptive statistics semua variabel
- ☑️ Cek multicollinearity (VIF)
- ☑️ Fit model OLS
- ☑️ Cek overall F-test (untuk multiple regression)
- ☑️ Cek asumsi LINE (residual analysis)
- ☑️ Cek outlier (Cook’s distance)
- ☑️ Interpretasi koefisien dengan “ceteris paribus”
- ☑️ Hindari klaim kausal dari korelasi
- ☑️ Validasi model (train/test split atau cross-validation)
💡 Prinsip LEAN untuk OLS:
Selalu laporkan: (1) persamaan regresi, (2) R² dan adjusted R², (3) hasil cek asumsi LINE, (4) VIF, (5) signifikansi koefisien, (6) interpretasi bisnis, (7) keterbatasan model.
Selalu laporkan: (1) persamaan regresi, (2) R² dan adjusted R², (3) hasil cek asumsi LINE, (4) VIF, (5) signifikansi koefisien, (6) interpretasi bisnis, (7) keterbatasan model.
Materi Sebelumnya
← Interpretasi KoefisienLanjut ke Materi Berikutnya
Regresi Logistik →