🎥 Playlist Kuliah: Multiple Regression
Playlist ini berisi penjelasan lengkap untuk seluruh materi Sesi 13. Tonton berurutan dari atas — mulai dari membangun model multiple regression, adjusted R², residual analysis, sampai dummy variables dan interaction terms.
🎯 Bagian 1: Simple vs Multiple Regression — Dari 1 Predictor ke Banyak Predictor
🤔 Mengapa Butuh Multiple Regression?
Simple regression hanya menangkap satu sisi realitas. Padahal dalam bisnis, outcome hampir selalu dipengaruhi banyak faktor sekaligus.
📊 Simple Linear Regression
Satu predictor
Contoh: Penjualan = f(Iklan)
Kelemahan: Mengabaikan faktor lain (harga, lokasi, kualitas)
📊 Multiple Linear Regression
Banyak predictor
Contoh: Penjualan = f(Iklan, Harga, Lokasi, Kualitas)
Kelebihan: Lebih realistis, prediksi lebih akurat
- Simple regression: Meramal hujan besok hanya dari suhu hari ini. Akurasinya terbatas.
- Multiple regression: Meramal hujan besok dari suhu, kelembaban, tekanan udara, kecepatan angin, dan awan. Jauh lebih akurat!
📊 Contoh Kasus: Prediksi Omzet UMKM
Seorang konsultan ingin memprediksi omzet bulanan UMKM berdasarkan beberapa faktor:
- X₁: Biaya iklan (juta Rp/bulan)
- X₂: Jumlah karyawan
- X₃: Luas toko (m²)
- X₄: Jumlah tahun beroperasi
🎯 Learning Objectives Sesi 13
- Membangun model multiple regression
- Menginterpretasi koefisien regresi (b₁, b₂, dst)
- Memahami R² vs Adjusted R²
- Melakukan overall F-test
- Melakukan residual analysis
- Menguji signifikansi individual koefisien (t-test)
- Menguji sebagian model (partial F-test)
- Menggunakan dummy variables untuk data kategorikal
- Memahami interaction terms
“Multiple regression bukan tentang memasukkan sebanyak mungkin variabel. Ini tentang memasukkan variabel yang RELEVAN dan bermakna secara bisnis.”
Model yang baik = model yang parsimonious (sederhana tapi powerful).
📐 Bagian 2: Developing Multiple Regression Model — Interpretasi Koefisien
🤔 Bagaimana Bentuk Modelnya?
Model multiple regression dengan k predictor:
Dimana:
- Ŷ: nilai prediksi variabel dependen
- b₀: intercept (nilai Y ketika semua X = 0)
- bᵢ: slope untuk variabel Xᵢ — perubahan Y untuk setiap kenaikan 1 unit Xᵢ, dengan asumsi variabel lain KONSTAN
Ini perbedaan KRUSIAL dari simple regression. Di multiple regression, setiap koefisien mengukur efek bersih dari satu variabel, setelah mengontrol variabel lain.
Setelah regresi dengan data 30 UMKM, diperoleh:
Interpretasi koefisien:
- b₁ = 3,2: Setiap kenaikan Rp1 juta biaya iklan, omzet naik rata-rata Rp3,2 juta — dengan asumsi jumlah karyawan, luas toko, dan tahun operasi tetap.
- b₂ = 1,5: Setiap tambahan 1 karyawan, omzet naik rata-rata Rp1,5 juta — dengan asumsi iklan, luas, dan tahun tetap.
- b₃ = 0,08: Setiap tambahan 1 m² luas toko, omzet naik rata-rata Rp80 ribu — ceteris paribus.
- b₄ = 0,5: Setiap tambahan 1 tahun beroperasi, omzet naik rata-rata Rp500 ribu — ceteris paribus.
- b₀ = 5: Omzet dasar (jika semua X = 0) = Rp5 juta. Tapi ini mungkin tidak bermakna karena tidak ada UMKM dengan semua X = 0.
🎯 Cara Interpretasi Koefisien (3 Langkah)
- Arah: Positif (↑X → ↑Y) atau negatif (↑X → ↓Y)?
- Besar: Setiap 1 unit X → berapa unit perubahan Y?
- Konteks: Selalu sebutkan “dengan asumsi variabel lain konstan“
- ❌ Salah: “Iklan menyebabkan omzet naik Rp3,2 juta.”
- ✅ Benar: “Setelah mengontrol jumlah karyawan, luas toko, dan tahun operasi, setiap kenaikan Rp1 juta iklan terasosiasi dengan kenaikan omzet Rp3,2 juta.”
📊 Koefisien Terstandarisasi (Standardized Coefficients)
Kadang koefisien sulit dibanding-bandingkan karena satuannya beda (Rp juta vs jumlah orang vs m²). Solusinya: standardized coefficients (beta).
- Dihitung dengan menstandarisasi semua variabel (mean = 0, SD = 1)
- Semua beta dalam satuan “standar deviasi”
- Bisa langsung dibanding-bandingkan: beta terbesar = predictor paling penting
Standardized coefficients:
- β₁ (Iklan) = 0,55
- β₂ (Karyawan) = 0,32
- β₃ (Luas) = 0,18
- β₄ (Tahun) = 0,12
📊 Bagian 3: R², Adjusted R², dan Overall F Test
🤔 Apakah Model Kita Bagus?
Ada 3 metrik utama untuk menilai model multiple regression:
- R² (Coefficient of Determination)
- Adjusted R²
- Overall F-test
📊 1. R² (Masih Sama dari Sesi 12)
Interpretasi: Proporsi variasi Y yang dijelaskan oleh SEMUA predictor bersama-sama.
⚠️ Masalah R² di Multiple Regression
R² selalu naik ketika Anda menambah predictor — bahkan kalau predictor itu tidak berguna! Ini karena R² “dipaksa” naik oleh kompleksitas model.
Bayangkan Anda tebak harga rumah hanya dari luas (R² = 0,60). Lalu tambah jumlah kamar (R² = 0,75). Lalu tambah warna cat (R² = 0,751).
Warna cat jelas tidak relevan, tapi R² tetap naik sedikit. Ini masalah R² — dia “terlalu murah hati”.
📊 2. Adjusted R² (Solusi untuk Masalah R²)
Dimana:
- n: jumlah observasi
- k: jumlah predictor
Keunggulan: Adjusted R² menghukum penambahan predictor yang tidak berguna. Kalau predictor baru tidak menambah banyak penjelasan, adjusted R² bisa turun.
Model dengan 4 predictor, n = 30:
- R² = 0,85
- Adjusted R² = 0,83
- R² naik jadi 0,851 (naik sedikit)
- Adjusted R² turun jadi 0,827 (karena penalty untuk predictor tidak berguna)
🎯 Kapan Pakai R² vs Adjusted R²?
- R²: Untuk deskripsi model (berapa % variasi yang dijelaskan)
- Adjusted R²: Untuk membandingkan model dengan jumlah predictor berbeda
📊 3. Overall F-test
Menguji apakah setidaknya ada satu predictor yang signifikan.
Hipotesis:
- H₀: β₁ = β₂ = … = βₖ = 0 (tidak ada predictor yang berguna)
- H₁: Setidaknya satu βᵢ ≠ 0
Rumus F-statistic:
- SSR = 1200, SSE = 220, k = 4, n = 30
- MSR = 1200 / 4 = 300
- MSE = 220 / (30 − 4 − 1) = 220 / 25 = 8,8
- F = 300 / 8,8 = 34,09
- p-value < 0,001
- Karena p-value < 0,05 → Tolak H₀
- Overall F-test dulu: Apakah model secara keseluruhan signifikan?
- Jika Ya: Baru lihat R²/Adjusted R² (seberapa baik model menjelaskan variasi)
- Lalu: Lihat t-test individual (predictor mana yang signifikan)
🔬 Bagian 4: Residual Analysis untuk Multiple Regression
🤔 Apakah Asumsi LINE Masih Berlaku?
Ya! Asumsi LINE dari Sesi 12 tetap berlaku di multiple regression, tapi dengan beberapa penyesuaian:
- L (Linearity): Hubungan setiap Xᵢ dengan Y linear (setelah mengontrol X lain)
- I (Independence): Residual saling bebas
- N (Normality): Residual berdistribusi Normal
- E (Equal Variance): Varians residual konstan (homoskedastisitas)
📊 Plot yang Diperlukan
- Residual vs Ŷ (predicted values): Cek linearity & homoskedastisitas
- Residual vs tiap Xᵢ: Cek linearity per predictor
- Histogram/Q-Q plot residual: Cek normalitas
- Residual vs time (jika time series): Cek independence (Durbin-Watson)
🆕 Masalah Baru di Multiple Regression: Multicollinearity
Multicollinearity = ketika predictor-predictor saling berkorelasi tinggi. Ini masalah khusus multiple regression yang tidak ada di simple regression.
Bayangkan Anda punya 2 striker yang gaya mainnya sama persis. Sulit membedakan kontribusi masing-masing — mereka “tumpang tindih”.
Dalam regresi: kalau “biaya iklan Instagram” dan “biaya iklan Facebook” sangat berkorelasi (0,90), model sulit membedakan kontribusi masing-masing. Koefisien jadi tidak stabil.
🔍 Cara Deteksi Multicollinearity
Pakai Variance Inflation Factor (VIF):
Dimana Rᵢ² adalah R² dari regresi Xᵢ terhadap semua X lain.
Interpretasi VIF:
| VIF | Interpretasi |
|---|---|
| 1 | ✅ Tidak ada korelasi dengan predictor lain |
| 1 – 5 | ✅ Moderate korelasi, biasanya OK |
| > 5 | ⚠️ Multicollinearity mulai masalah |
| > 10 | ❌ Multicollinearity parah — perlu tindakan |
🎯 Solusi Jika Multicollinearity Parah
- Hapus salah satu predictor yang berkorelasi tinggi
- Kombinasi jadi satu variabel (misal: “total biaya iklan” = IG + FB + TikTok)
- Principal Component Analysis (PCA) — teknik advanced
- Ridge Regression — regularized regression
- Overall F-test signifikan, tapi t-test individual tidak signifikan
- Koefisien berubah drastis ketika menambah/menghapus predictor
- Koefisien punya tanda yang berlawanan dengan logika bisnis (misal: harga positif terhadap penjualan)
Di software:
- Excel: Tidak ada VIF built-in, hitung manual
- SPSS: Analyze → Regression → Linear → Statistics → collinearity diagnostics
- R:
car::vif(model) - Python:
from statsmodels.stats.outliers_influence import variance_inflation_factor
🎯 Bagian 5: Inferensi untuk Koefisien Regresi (t-test Individual)
🤔 Apakah Tiap Predictor Signifikan?
Setelah overall F-test signifikan, kita perlu tahu: predictor mana yang benar-benar berkontribusi?
📊 t-test untuk Tiap Koefisien
Dimana:
- bᵢ: koefisien estimasi untuk predictor ke-i
- S₆ᵢ: standard error dari bᵢ
- df: n − k − 1
Hipotesis untuk Tiap Predictor:
- H₀: βᵢ = 0 (predictor Xᵢ tidak berguna, dengan asumsi predictor lain sudah di model)
- H₁: βᵢ ≠ 0 (predictor Xᵢ berguna)
Output regresi:
| Predictor | Coefficient | Std Error | t | p-value | Kesimpulan |
|---|---|---|---|---|---|
| Intercept | 5,0 | 2,1 | 2,38 | 0,025 | Signifikan |
| Iklan | 3,2 | 0,8 | 4,00 | 0,001 | ✅ Signifikan |
| Karyawan | 1,5 | 0,6 | 2,50 | 0,020 | ✅ Signifikan |
| Luas | 0,08 | 0,05 | 1,60 | 0,122 | ❌ Tidak signifikan |
| Tahun | 0,5 | 0,3 | 1,67 | 0,108 | ❌ Tidak signifikan |
- Iklan dan jumlah karyawan signifikan memprediksi omzet
- Luas toko dan tahun operasi tidak signifikan (setelah mengontrol iklan dan karyawan)
🎯 Confidence Interval untuk Koefisien
95% CI untuk koefisien iklan:
- t(0,025, 25) = 2,060
- 3,2 ± 2,060 × 0,8 = 3,2 ± 1,65 = [1,55 ; 4,85]
Kalau Anda uji 10 predictor dengan α = 0,05, peluang setidaknya satu Type I error = 1 − (0,95)¹⁰ = 40%.
Solusi:
- Pakai Bonferroni correction: α baru = 0,05 / 10 = 0,005
- Atau fokus pada adjusted p-values
- Atau gunakan model selection (stepwise, LASSO) yang otomatis kontrol
🔍 Bagian 6: Testing Portions of the Model — Partial F-test
🤔 Mengapa Butuh Partial F-test?
Terkadang kita ingin menguji apakah sekelompok predictor secara bersama-sama signifikan. Contoh: “Apakah variabel ‘lokasi’ (yang terdiri dari 3 dummy variables) secara keseluruhan signifikan?”
Anda tidak cuma ingin tahu apakah satu pemain bagus (t-test individual), tapi apakah seluruh lini depan (3 pemain) secara kolektif bagus.
Partial F-test menguji kelompok predictor, bukan individual.
📊 Full Model vs Reduced Model
🟢 Full Model
Model dengan SEMUA predictor
Y = b₀ + b₁X₁ + b₂X₂ + b₃X₃ + b₄X₄
🟠 Reduced Model
Model tanpa predictor yang diuji
Y = b₀ + b₁X₁ + b₂X₂
🔵 Pertanyaan
Apakah X₃ dan X₄ bersama-sama menambah nilai prediksi?
📊 Rumus Partial F-test
Dimana:
- q: jumlah predictor yang diuji (di reduced model)
- k: jumlah predictor di full model
- n: jumlah observasi
Hipotesis:
- H₀: β₃ = β₄ = 0 (X₃ dan X₄ bersama-sama tidak berguna)
- H₁: Setidaknya satu dari β₃, β₄ ≠ 0
Full model (4 predictor): SSE_full = 220
Reduced model (2 predictor: Iklan, Karyawan): SSE_reduced = 280
n = 30, k = 4, q = 2
- F = [(280 − 220) / 2] / [220 / (30 − 4 − 1)]
- F = [60 / 2] / [220 / 25]
- F = 30 / 8,8 = 3,41
- p-value = 0,049
- Karena 0,049 < 0,05 → Tolak H₀
Di contoh sebelumnya, t-test individual untuk Luas (p = 0,122) dan Tahun (p = 0,108) tidak signifikan. Tapi partial F-test signifikan (p = 0,049).
Penjelasan: Luas dan Tahun mungkin bersama-sama berguna, tapi secara individual “saling menutupi” efeknya. Ini sering terjadi ketika predictor berkorelasi sedang.
🎯 Aplikasi Partial F-test
- Uji sekelompok dummy variables: Apakah variabel kategorikal (dengan banyak level) secara keseluruhan signifikan?
- Uji interaction terms: Apakah sekelompok interaction terms menambah nilai?
- Model comparison: Apakah model kompleks lebih baik dari model sederhana?
“Jangan cuma lihat t-test individual. Lihat juga partial F-test untuk kelompok predictor yang secara konseptual terkait.”
🎭 Bagian 7: Dummy Variables & Interaction Terms
🤔 Bagaimana dengan Variabel Kategorikal?
Regresi biasanya butuh variabel numerik. Tapi banyak variabel bisnis yang kategorikal: jenis kelamin, wilayah, metode pembayaran, dll.
Solusinya: dummy variables.
📊 Apa Itu Dummy Variable?
Dummy variable = variabel numerik yang mewakili kategori, biasanya bernilai 0 atau 1.
🎯 Contoh: Metode Pembayaran
Kategori: QRIS, Transfer, COD (3 kategori)
Buat 2 dummy variables (k-1 = 3-1 = 2):
- D₁ (QRIS): 1 jika QRIS, 0 jika bukan
- D₂ (Transfer): 1 jika Transfer, 0 jika bukan
- Reference category: COD (ketika D₁ = 0 dan D₂ = 0)
Untuk variabel kategorikal dengan k kategori, buat k−1 dummy variables. Satu kategori jadi reference (baseline).
Mengapa k−1? Kalau buat k dummy, akan terjadi perfect multicollinearity (dummy trap) — karena jumlah semua dummy = 1 (intercept).
📊 Interpretasi Koefisien Dummy
Model: Omzet = 10 + 3(D₁_QRIS) + 1,5(D₂_Transfer) + 2(Iklan)
- b₁ = 3 (QRIS): Omzet dengan QRIS rata-rata Rp3 juta lebih tinggi daripada COD (reference), dengan asumsi iklan konstan.
- b₂ = 1,5 (Transfer): Omzet dengan Transfer rata-rata Rp1,5 juta lebih tinggi daripada COD, ceteris paribus.
- COD (reference): Baseline, ketika D₁ = 0 dan D₂ = 0.
🎯 Interaction Terms
Interaction term = perkalian dua predictor untuk menangkap efek sinergis atau kondisional.
- Obat saja: Turunkan berat 2 kg
- Diet saja: Turunkan berat 3 kg
- Obat + Diet: Turunkan berat 8 kg (bukan 2+3 = 5 kg!)
📊 Model dengan Interaction
Dimana:
- b₃: koefisien interaction — mengukur efek sinergis antara X₁ dan X₂
Model: Penjualan = 50 + 3(Iklan) − 2(Harga) + 0,5(Iklan × Harga)
- b₁ = 3: Efek utama iklan (ketika harga = 0)
- b₂ = −2: Efek utama harga (ketika iklan = 0)
- b₃ = 0,5: Interaction — efek iklan lebih kuat ketika harga tinggi
- Kalau harga rendah: efek iklan = 3 (biasa saja)
- Kalau harga tinggi: efek iklan = 3 + 0,5 × Harga = lebih besar
🎯 Hierarchical Principle
Kalau Anda masukkan interaction term X₁×X₂, Anda WAJIB juga masukkan X₁ dan X₂ secara individual, meskipun tidak signifikan.
- ❌ Salah: Model = b₀ + b₃(X₁×X₂) — hanya interaction, tanpa main effects
- ✅ Benar: Model = b₀ + b₁X₁ + b₂X₂ + b₃(X₁×X₂)
- Kalau secara teori/logika bisnis, efek satu variabel bergantung pada level variabel lain
- Contoh: efek diskon terhadap penjualan mungkin berbeda untuk produk murah vs mahal
- Selalu uji signifikansi interaction term (t-test atau partial F-test)
🚨 Bagian 8: 8 Kesalahan Fatal Peneliti Pemula dalam Multiple Regression
🚨 Mengapa Section Ini Penting?
Multiple regression adalah alat paling powerful — tapi juga paling sering disalahgunakan. Berikut 8 kesalahan yang harus Anda hindari:
❌ Kesalahan #1: Memasukkan Semua Variabel “Biar Lengkap”
Yang salah: Masukkan 20 predictor ke model, tanpa seleksi.
Akibat: Model overfit, prediksi buruk untuk data baru, sulit interpretasi.
Solusi: Pakai model selection (forward, backward, stepwise) atau seleksi berbasis teori.
❌ Kesalahan #2: Tidak Cek Multicollinearity
Yang salah: Langsung interpretasi koefisien tanpa cek VIF.
Akibat: Koefisien tidak stabil, interpretasi menyesatkan.
Solusi: Cek VIF. Kalau > 5, pertimbangkan hapus/kombinasi predictor.
❌ Kesalahan #3: Lupa “Ceteris Paribus” saat Interpretasi
Yang salah: “Iklan meningkatkan penjualan Rp3,2 juta.” (tanpa kualifikasi)
Mengapa salah: Di multiple regression, koefisien adalah efek bersih setelah mengontrol variabel lain.
Solusi: Selalu sebutkan “dengan asumsi variabel lain konstan”.
❌ Kesalahan #4: Hanya Lihat R², Lupa Adjusted R²
Yang salah: “R² = 0,95, model sempurna!”
Mengapa salah: R² selalu naik kalau tambah predictor, bahkan yang tidak berguna.
Solusi: Untuk bandingkan model, selalu pakai Adjusted R².
❌ Kesalahan #5: Dummy Variable Trap
Yang salah: Variabel dengan 3 kategori, buat 3 dummy variables.
Akibat: Perfect multicollinearity, software error atau hasil aneh.
Solusi: Buat k−1 dummy. Satu kategori jadi reference.
❌ Kesalahan #6: Interaction tanpa Main Effects
Yang salah: Model = b₀ + b₃(X₁×X₂) — hanya interaction.
Akibat: Koefisien sulit interpretasi, model tidak stabil.
Solusi: Selalu sertakan main effects (X₁ dan X₂) bersama interaction.
❌ Kesalahan #7: Klaim Kausal dari Regresi Observasional
Yang salah: “Iklan menyebabkan penjualan naik.”
Mengapa salah: Regresi observasional hanya menunjukkan asosiasi, bukan kausalitas. Bisa ada confounding variable.
Solusi: Gunakan kata “terasosiasi” atau “memprediksi”, bukan “menyebabkan”. Untuk klaim kausal, butuh eksperimen (RCT).
❌ Kesalahan #8: Tidak Validasi Model
Yang salah: Hanya fit model di satu dataset, langsung dipakai prediksi.
Akibat: Model mungkin overfit, performa buruk di data baru.
Solusi: Split data jadi training (70-80%) dan testing (20-30%). Fit di training, evaluasi di testing. Atau pakai cross-validation.
Sebelum submit riset, cek ulang:
- ☑️ Sudah seleksi predictor (tidak asal masukkan semua)?
- ☑️ Sudah cek multicollinearity (VIF)?
- ☑️ Sudah interpretasi dengan “ceteris paribus”?
- ☑️ Sudah lihat Adjusted R² (bukan cuma R²)?
- ☑️ Dummy variables: sudah buat k−1?
- ☑️ Interaction: sudah sertakan main effects?
- ☑️ Sudah hindari klaim kausal?
- ☑️ Sudah validasi model (train/test split)?
✅ Bagian 9: Ringkasan & Checklist Praktis Sesi 13
🗺️ Peta Konsep Sesi 13
| Konsep | Rumus/Konsep Utama | Fungsi |
|---|---|---|
| Multiple Regression Model | Ŷ = b₀ + b₁X₁ + … + bₖXₖ | Prediksi Y dari banyak X |
| Adjusted R² | 1 − [(1−R²)(n−1)/(n−k−1)] | Penyesuaian R² untuk jumlah predictor |
| Overall F-test | F = MSR / MSE | Uji signifikansi model keseluruhan |
| Multicollinearity (VIF) | VIF = 1 / (1 − Rᵢ²) | Deteksi korelasi antar predictor |
| t-test Individual | t = bᵢ / S₆ᵢ | Uji signifikansi tiap predictor |
| Partial F-test | F = [(SSR_full − SSR_reduced)/q] / [SSE_full/(n−k−1)] | Uji sekelompok predictor |
| Dummy Variables | k−1 dummy untuk k kategori | Masukkan variabel kategorikal |
| Interaction Terms | X₁ × X₂ | Capturing efek sinergis |
📋 Checklist 10 Langkah Multiple Regression
- ☑️ Sudah tentukan predictor berdasarkan teori/logika bisnis?
- ☑️ Sudah cek multicollinearity (VIF < 5)?
- ☑️ Sudah fit model dan cek overall F-test?
- ☑️ Sudah lihat R² dan Adjusted R²?
- ☑️ Sudah cek residual analysis (LINE)?
- ☑️ Sudah lihat t-test individual untuk tiap predictor?
- ☑️ Untuk variabel kategorikal: sudah buat k−1 dummy?
- ☑️ Kalau ada interaction: sudah sertakan main effects?
- ☑️ Sudah interpretasi koefisien dengan “ceteris paribus”?
- ☑️ Sudah validasi model (train/test split atau cross-validation)?
🎯 Formula Sheet Ringkas
Ŷ = b₀ + b₁X₁ + b₂X₂ + … + bₖXₖ
Adj R² = 1 − [(1 − R²)(n − 1) / (n − k − 1)]
F = (SSR / k) / (SSE / (n − k − 1))
VIFᵢ = 1 / (1 − Rᵢ²)
F = [(SSR_full − SSR_reduced) / q] / [SSE_full / (n − k − 1)]
t = bᵢ / S₆ᵢ, df = n − k − 1
“Model yang baik bukan yang paling kompleks, tapi yang paling parsimonious — sederhana tapi powerful.”
Selalu laporkan: (1) persamaan regresi, (2) Adjusted R², (3) hasil overall F-test, (4) VIF untuk multicollinearity, (5) t-test individual, (6) residual analysis, (7) interpretasi bisnis dengan “ceteris paribus”, (8) validasi model.
📚 Persiapan Sesi Berikutnya
Setelah menguasai multiple regression, Anda siap masuk ke topik-topik advanced seperti:
- Logistic Regression — untuk variabel dependen kategorikal
- Time Series Analysis — untuk data berurutan waktu
- Machine Learning — predictive modeling modern
Selamat! Anda telah menyelesaikan fondasi statistika bisnis yang solid. 🎉
Materi di bawah ini adalah versi deep-dive dari poin-poin yang sudah kita bahas di atas — mencakup output Excel/SPSS lengkap, bedah kasus, dan contoh tambahan. Silakan dibaca sebagai pelengkap.
↓ Gulir ke bawah untuk materi pelengkap ↓
Learning Guide
Sesi ini membahas regresi linear berganda sebagai pengembangan dari regresi linear sederhana. Metode ini digunakan untuk memprediksi variabel dependen berdasarkan lebih dari satu variabel independen, termasuk variabel kategorik yang direpresentasikan dengan variabel dummy.
Catatan Penting (Wajib):
- Variabel dependen (Y) harus numerik dan kontinu
- Variabel independen (X) numerik kontinu atau kategorik yang dikodekan (dummy)
Learning Objectives
- Membedakan regresi sederhana dan berganda
- Menyusun model regresi berganda
- Menafsirkan koefisien regresi
- Menentukan variabel yang relevan dan paling berpengaruh
- Mengintegrasikan variabel kategorik dalam model
14.1 Simple vs Multiple Linear Regression
| Aspek | Simple | Multiple |
|---|---|---|
| Jumlah X | 1 | > 1 |
| Tujuan | Hubungan sederhana | Prediksi komprehensif |
14.2 Multiple Regression Model
Model umum regresi linear berganda:
Y = b0 + b1X1 + b2X2 + … + bkXk
Contoh Bisnis:
Y = Penjualan (juta rupiah)
X1 = Biaya iklan (juta rupiah)
X2 = Harga (ribu rupiah)
X3 = Lokasi (dummy: 1 = pusat kota, 0 = luar kota)
14.3 Interpretation of Regression Coefficients
- bi: perubahan rata-rata Y akibat kenaikan satu unit Xi, dengan variabel lain konstan
- Tanda (+/−) menunjukkan arah pengaruh
Interpretasi Dummy Variable:
Koefisien dummy menunjukkan perbedaan rata-rata Y antara kategori referensi dan kategori yang dikodekan.
14.4 Selecting Independent Variables
Pemilihan variabel independen harus mempertimbangkan:
- Dasar teori dan logika bisnis
- Signifikansi statistik (p-value)
- Multikolinearitas (VIF)
Praktik Umum:
Gunakan kombinasi pertimbangan teoritis dan statistik, bukan sekadar memasukkan semua variabel yang tersedia.
14.5 Identifying Important Predictors
- Nilai p-value (lebih kecil → lebih signifikan)
- Standardized coefficients (Beta)
- Perubahan R²
Praktik Excel
Data → Data Analysis → Regression
Sumber: Levine et al. (2017), Chapter 14
Statistika Bisnis – Materi Tambahan
Advanced Regression Models for Categorical & Non-Linear Data
Learning Guide
Materi tambahan ini membahas jenis-jenis regresi yang digunakan ketika
data penelitian tidak memenuhi asumsi regresi linear klasik,
khususnya ketika variabel bersifat kategorik, nominal, ordinal,
atau hubungan antar variabel tidak linier.
Banyak penelitian bisnis dan manajemen menggunakan data skala Likert
atau data kategorik, tetapi tetap dianalisis dengan regresi linear berganda.
Materi ini menjelaskan mengapa dan kapan pendekatan tersebut
perlu diganti dengan model regresi yang lebih tepat.
Mengapa Regresi Linear Tidak Selalu Tepat?
Regresi linear mensyaratkan bahwa variabel dependen:
- Bersifat numerik dan kontinu
- Memiliki jarak antar nilai yang bermakna
- Residual berdistribusi normal dan homoskedastik
Jika variabel dependen berupa kategori, peringkat (ordinal),
atau probabilitas, maka regresi linear dapat menghasilkan
estimasi yang bias dan interpretasi yang menyesatkan.
1. Dummy Regression
Regresi dummy digunakan ketika variabel independen bersifat kategorik
(nominal), tetapi variabel dependen tetap numerik dan kontinu.
- Kategori dikodekan sebagai variabel dummy (0–1)
- Satu kategori menjadi reference group
Lokasi usaha → 1 = pusat kota, 0 = pinggiran
Regresi dummy tidak mengubah sifat variabel dependen.
Jika Y bersifat ordinal, maka regresi linear tetap tidak tepat.
2. Logistic Regression (Binary)
Regresi logistik digunakan ketika variabel dependen bersifat dikotomik (0/1).
Model ini memprediksi probabilitas kejadian.
- Contoh: Beli / Tidak beli
- Output utama: odds ratio
Karena regresi linear dapat menghasilkan probabilitas < 0 atau > 1.
3. Multinomial Logistic Regression
Digunakan ketika variabel dependen bersifat nominal dengan
lebih dari dua kategori dan tidak memiliki urutan.
- Contoh: metode pembayaran, pilihan merek
- Satu kategori dijadikan referensi
Analisis preferensi konsumen, pilihan layanan, dan segmentasi pasar.
4. Ordinal Logistic Regression
Regresi logistik ordinal digunakan ketika variabel dependen
bersifat ordinal, seperti skala Likert.
- Mempertahankan urutan kategori
- Tidak memaksakan jarak yang sama antar kategori
Sebagian besar penelitian bisnis di Indonesia menggunakan skala Likert
yang secara teori bersifat ordinal.
Regresi linear pada data Likert dapat digunakan sebagai pendekatan praktis,
namun regresi ordinal lebih tepat secara metodologis.
5. Non-Linear Regression
Regresi non-linier digunakan ketika hubungan X dan Y
tidak dapat direpresentasikan secara garis lurus.
- Eksponensial (pertumbuhan)
- Logaritmik (learning curve)
- Kuadratik (diminishing return)
Efektivitas iklan yang meningkat cepat di awal,
namun melambat setelah titik tertentu.
Ringkasan Pemilihan Model Regresi
| Jenis Data Y | Model yang Tepat |
|---|---|
| Numerik kontinu | Linear / Multiple Regression |
| Biner | Logistic Regression |
| Nominal (>2) | Multinomial Logistic |
| Ordinal (Likert) | Ordinal Logistic |
| Non-linier | Non-Linear Regression |
Materi Tambahan – Penguatan Metodologi Regresi untuk Penelitian Bisnis Indonesia
Video pendukung: Regresi Logistik Ordinal & Multinomial (digunakan pada Statistika Bisnis dan Riset Bisnis)