🎥 Playlist Kuliah: Multiple Regression
Playlist ini berisi penjelasan lengkap untuk seluruh materi Sesi 13. Tonton berurutan dari atas — mulai dari membangun model multiple regression, adjusted R², residual analysis, sampai dummy variables dan interaction terms.
🎯 Bagian 1: Simple vs Multiple Regression — Dari 1 Predictor ke Banyak Predictor
🤔 Mengapa Butuh Multiple Regression?
Simple regression hanya menangkap satu sisi realitas. Padahal dalam bisnis, outcome hampir selalu dipengaruhi banyak faktor sekaligus.
📊 Simple Linear Regression
- Satu predictor
- Ŷ = b₀ + b₁X₁
- Contoh: Penjualan = f(Iklan)
- Kelemahan: Mengabaikan faktor lain (harga, lokasi, kualitas)
📊 Multiple Linear Regression
- Banyak predictor
- Ŷ = b₀ + b₁X₁ + b₂X₂ + … + bₖXₖ
- Contoh: Penjualan = f(Iklan, Harga, Lokasi, Kualitas)
- Kelebihan: Lebih realistis, prediksi lebih akurat
- Simple regression: Meramal hujan besok hanya dari suhu hari ini. Akurasinya terbatas.
- Multiple regression: Meramal hujan besok dari suhu, kelembaban, tekanan udara, kecepatan angin, dan awan. Jauh lebih akurat!
Seorang konsultan ingin memprediksi omzet bulanan UMKM berdasarkan beberapa faktor:
- X₁: Biaya iklan (juta Rp/bulan)
- X₂: Jumlah karyawan
- X₃: Luas toko (m²)
- X₄: Jumlah tahun beroperasi
🎯 Learning Objectives Sesi 13
- Membangun model multiple regression
- Menginterpretasi koefisien regresi (b₁, b₂, dst)
- Memahami R² vs Adjusted R²
- Melakukan overall F-test
- Melakukan residual analysis
- Menguji signifikansi individual koefisien (t-test)
- Menguji sebagian model (partial F-test)
- Menggunakan dummy variables untuk data kategorikal
- Memahami interaction terms
“Multiple regression bukan tentang memasukkan sebanyak mungkin variabel. Ini tentang memasukkan variabel yang RELEVAN dan bermakna secara bisnis.”
Model yang baik = model yang parsimonious (sederhana tapi powerful).
Untuk memahami konsep multiple regression dengan pendekatan geometris dan matriks, baca NIST Engineering Statistics Handbook – Multiple Regression.
📐 Bagian 2: Developing Multiple Regression Model — Interpretasi Koefisien
🤔 Bagaimana Bentuk Modelnya?
Model multiple regression dengan k predictor:
Dimana:
- Ŷ: nilai prediksi variabel dependen
- b₀: intercept (nilai Y ketika semua X = 0)
- bᵢ: slope untuk variabel Xᵢ — perubahan Y untuk setiap kenaikan 1 unit Xᵢ, dengan asumsi variabel lain KONSTAN
Ini perbedaan KRUSIAL dari simple regression. Di multiple regression, setiap koefisien mengukur efek bersih dari satu variabel, setelah mengontrol variabel lain.
Setelah regresi dengan data 30 UMKM, diperoleh:
- b₁ = 3,2: Setiap kenaikan Rp1 juta biaya iklan, omzet naik rata-rata Rp3,2 juta — dengan asumsi jumlah karyawan, luas toko, dan tahun operasi tetap.
- b₂ = 1,5: Setiap tambahan 1 karyawan, omzet naik rata-rata Rp1,5 juta — dengan asumsi iklan, luas, dan tahun tetap.
- b₃ = 0,08: Setiap tambahan 1 m² luas toko, omzet naik rata-rata Rp80 ribu — ceteris paribus.
- b₄ = 0,5: Setiap tambahan 1 tahun beroperasi, omzet naik rata-rata Rp500 ribu — ceteris paribus.
- b₀ = 5: Omzet dasar (jika semua X = 0) = Rp5 juta. Tapi ini mungkin tidak bermakna karena tidak ada UMKM dengan semua X = 0.
🎯 Cara Interpretasi Koefisien (3 Langkah)
- Arah: Positif (↑X → ↑Y) atau negatif (↑X → ↓Y)?
- Besar: Setiap 1 unit X → berapa unit perubahan Y?
- Konteks: Selalu sebutkan “dengan asumsi variabel lain konstan”
- ❌ Salah: “Iklan menyebabkan omzet naik Rp3,2 juta.”
- ✅ Benar: “Setelah mengontrol jumlah karyawan, luas toko, dan tahun operasi, setiap kenaikan Rp1 juta iklan terasosiasi dengan kenaikan omzet Rp3,2 juta.”
📊 Koefisien Terstandarisasi (Standardized Coefficients)
Kadang koefisien sulit dibanding-bandingkan karena satuannya beda (Rp juta vs jumlah orang vs m²). Solusinya: standardized coefficients (beta).
- Dihitung dengan menstandarisasi semua variabel (mean = 0, SD = 1)
- Semua beta dalam satuan “standar deviasi”
- Bisa langsung dibanding-bandingkan: beta terbesar = predictor paling penting
Standardized coefficients:
- β₁ (Iklan) = 0,55
- β₂ (Karyawan) = 0,32
- β₃ (Luas) = 0,18
- β₄ (Tahun) = 0,12
📊 Bagian 3: R², Adjusted R², dan Overall F Test
🤔 Apakah Model Kita Bagus?
Ada 3 metrik utama untuk menilai model multiple regression:
- R² (Coefficient of Determination)
- Adjusted R²
- Overall F-test
📊 1. R² (Masih Sama dari Sesi 12)
Interpretasi: Proporsi variasi Y yang dijelaskan oleh SEMUA predictor bersama-sama.
R² selalu naik ketika Anda menambah predictor — bahkan kalau predictor itu tidak berguna! Ini karena R² “dipaksa” naik oleh kompleksitas model.
Bayangkan Anda tebak harga rumah hanya dari luas (R² = 0,60). Lalu tambah jumlah kamar (R² = 0,75). Lalu tambah warna cat (R² = 0,751).
Warna cat jelas tidak relevan, tapi R² tetap naik sedikit. Ini masalah R² — dia “terlalu murah hati”.
📊 2. Adjusted R² (Solusi untuk Masalah R²)
Dimana:
- n: jumlah observasi
- k: jumlah predictor
Keunggulan: Adjusted R² menghukum penambahan predictor yang tidak berguna. Kalau predictor baru tidak menambah banyak penjelasan, adjusted R² bisa turun.
Model dengan 4 predictor, n = 30:
- R² = 0,85
- Adjusted R² = 0,83
- R² naik jadi 0,851 (naik sedikit)
- Adjusted R² turun jadi 0,827 (karena penalty untuk predictor tidak berguna)
🎯 Kapan Pakai R² vs Adjusted R²?
- R²: Untuk deskripsi model (berapa % variasi yang dijelaskan)
- Adjusted R²: Untuk membandingkan model dengan jumlah predictor berbeda
📊 3. Overall F-test
Menguji apakah setidaknya ada satu predictor yang signifikan.
Hipotesis:
- H₀: β₁ = β₂ = … = βₖ = 0 (tidak ada predictor yang berguna)
- H₁: Setidaknya satu βᵢ ≠ 0
- SSR = 1200, SSE = 220, k = 4, n = 30
- MSR = 1200 / 4 = 300
- MSE = 220 / (30 − 4 − 1) = 220 / 25 = 8,8
- F = 300 / 8,8 = 34,09
- p-value < 0,001
- Karena p-value < 0,05 → Tolak H₀
- Overall F-test dulu: Apakah model secara keseluruhan signifikan?
- Jika Ya: Baru lihat R²/Adjusted R² (seberapa baik model menjelaskan variasi)
- Lalu: Lihat t-test individual (predictor mana yang signifikan)
🔬 Bagian 4: Residual Analysis untuk Multiple Regression
🤔 Apakah Asumsi LINE Masih Berlaku?
Ya! Asumsi LINE dari Sesi 12 tetap berlaku di multiple regression, tapi dengan beberapa penyesuaian:
- L (Linearity): Hubungan setiap Xᵢ dengan Y linear (setelah mengontrol X lain)
- I (Independence): Residual saling bebas
- N (Normality): Residual berdistribusi Normal
- E (Equal Variance): Varians residual konstan (homoskedastisitas)
📊 Plot yang Diperlukan
- Residual vs Ŷ (predicted values): Cek linearity & homoskedastisitas
- Residual vs tiap Xᵢ: Cek linearity per predictor
- Histogram/Q-Q plot residual: Cek normalitas
- Residual vs time (jika time series): Cek independence (Durbin-Watson)
🆕 Masalah Baru di Multiple Regression: Multicollinearity
Multicollinearity = ketika predictor-predictor saling berkorelasi tinggi. Ini masalah khusus multiple regression yang tidak ada di simple regression.
Bayangkan Anda punya 2 striker yang gaya mainnya sama persis. Sulit membedakan kontribusi masing-masing — mereka “tumpang tindih”.
Dalam regresi: kalau “biaya iklan Instagram” dan “biaya iklan Facebook” sangat berkorelasi (0,90), model sulit membedakan kontribusi masing-masing. Koefisien jadi tidak stabil.
🔍 Cara Deteksi Multicollinearity
Pakai Variance Inflation Factor (VIF):
Dimana Rᵢ² adalah R² dari regresi Xᵢ terhadap semua X lain.
Interpretasi VIF:
| VIF | Interpretasi |
|---|---|
| 1 | ✅ Tidak ada korelasi dengan predictor lain |
| 1 – 5 | ✅ Moderate korelasi, biasanya OK |
| > 5 | ⚠️ Multicollinearity mulai masalah |
| > 10 | ❌ Multicollinearity parah — perlu tindakan |
🎯 Solusi Jika Multicollinearity Parah
- Hapus salah satu predictor yang berkorelasi tinggi
- Kombinasi jadi satu variabel (misal: “total biaya iklan” = IG + FB + TikTok)
- Principal Component Analysis (PCA) — teknik advanced
- Ridge Regression — regularized regression
- Overall F-test signifikan, tapi t-test individual tidak signifikan
- Koefisien berubah drastis ketika menambah/menghapus predictor
- Koefisien punya tanda yang berlawanan dengan logika bisnis (misal: harga positif terhadap penjualan)
Di software:
- Excel: Tidak ada VIF built-in, hitung manual
- SPSS: Analyze → Regression → Linear → Statistics → collinearity diagnostics
- R:
car::vif(model) - Python:
from statsmodels.stats.outliers_influence import variance_inflation_factor
Untuk memahami VIF dan deteksi multicollinearity dengan contoh visual, baca Wikipedia: Variance Inflation Factor.
🎯 Bagian 5: Inferensi untuk Koefisien Regresi (t-test Individual)
🤔 Apakah Tiap Predictor Signifikan?
Setelah overall F-test signifikan, kita perlu tahu: predictor mana yang benar-benar berkontribusi?
📊 t-test untuk Tiap Koefisien
Dimana:
- bᵢ: koefisien estimasi untuk predictor ke-i
- Sbᵢ: standard error dari bᵢ
- df: n − k − 1
Hipotesis untuk Tiap Predictor:
- H₀: βᵢ = 0 (predictor Xᵢ tidak berguna, dengan asumsi predictor lain sudah di model)
- H₁: βᵢ ≠ 0 (predictor Xᵢ berguna)
Output regresi:
| Predictor | Coefficient | Std Error | t | p-value | Kesimpulan |
|---|---|---|---|---|---|
| Intercept | 5,0 | 2,1 | 2,38 | 0,025 | Signifikan |
| Iklan | 3,2 | 0,8 | 4,00 | 0,001 | ✅ Signifikan |
| Karyawan | 1,5 | 0,6 | 2,50 | 0,020 | ✅ Signifikan |
| Luas | 0,08 | 0,05 | 1,60 | 0,122 | ❌ Tidak signifikan |
| Tahun | 0,5 | 0,3 | 1,67 | 0,108 | ❌ Tidak signifikan |
- Iklan dan jumlah karyawan signifikan memprediksi omzet
- Luas toko dan tahun operasi tidak signifikan (setelah mengontrol iklan dan karyawan)
🎯 Confidence Interval untuk Koefisien
95% CI untuk koefisien iklan:
- t(0,025, 25) = 2,060
- 3,2 ± 2,060 × 0,8 = 3,2 ± 1,65 = [1,55 ; 4,85]
Kalau Anda uji 10 predictor dengan α = 0,05, peluang setidaknya satu Type I error = 1 − (0,95)¹⁰ = 40%.
Solusi:
- Pakai Bonferroni correction: α baru = 0,05 / 10 = 0,005
- Atau fokus pada adjusted p-values
- Atau gunakan model selection (stepwise, LASSO) yang otomatis kontrol
🔍 Bagian 6: Testing Portions of the Model — Partial F-test
🤔 Mengapa Butuh Partial F-test?
Terkadang kita ingin menguji apakah sekelompok predictor secara bersama-sama signifikan. Contoh: “Apakah variabel ‘lokasi’ (yang terdiri dari 3 dummy variables) secara keseluruhan signifikan?”
Anda tidak cuma ingin tahu apakah satu pemain bagus (t-test individual), tapi apakah seluruh lini depan (3 pemain) secara kolektif bagus.
Partial F-test menguji kelompok predictor, bukan individual.
📊 Full Model vs Reduced Model
🟢 Full Model
Model dengan SEMUA predictor
Y = b₀ + b₁X₁ + b₂X₂ + b₃X₃ + b₄X₄
🟠 Reduced Model
Model tanpa predictor yang diuji
Y = b₀ + b₁X₁ + b₂X₂
🔵 Pertanyaan
Apakah X₃ dan X₄ bersama-sama menambah nilai prediksi?
📊 Rumus Partial F-test
Dimana:
- q: jumlah predictor yang diuji (di reduced model)
- k: jumlah predictor di full model
- n: jumlah observasi
Hipotesis:
- H₀: β₃ = β₄ = 0 (X₃ dan X₄ bersama-sama tidak berguna)
- H₁: Setidaknya satu dari β₃, β₄ ≠ 0
Full model (4 predictor): SSEfull = 220
Reduced model (2 predictor: Iklan, Karyawan): SSEreduced = 280
n = 30, k = 4, q = 2
- F = [(280 − 220) / 2] / [220 / (30 − 4 − 1)]
- F = [60 / 2] / [220 / 25]
- F = 30 / 8,8 = 3,41
- p-value = 0,049
- Karena 0,049 < 0,05 → Tolak H₀
Di contoh sebelumnya, t-test individual untuk Luas (p = 0,122) dan Tahun (p = 0,108) tidak signifikan. Tapi partial F-test signifikan (p = 0,049).
Penjelasan: Luas dan Tahun mungkin bersama-sama berguna, tapi secara individual “saling menutupi” efeknya. Ini sering terjadi ketika predictor berkorelasi sedang.
🎯 Aplikasi Partial F-test
- Uji sekelompok dummy variables: Apakah variabel kategorikal (dengan banyak level) secara keseluruhan signifikan?
- Uji interaction terms: Apakah sekelompok interaction terms menambah nilai?
- Model comparison: Apakah model kompleks lebih baik dari model sederhana?
“Jangan cuma lihat t-test individual. Lihat juga partial F-test untuk kelompok predictor yang secara konseptual terkait.”
🎭 Bagian 7: Dummy Variables & Interaction Terms
🤔 Bagaimana dengan Variabel Kategorikal?
Regresi biasanya butuh variabel numerik. Tapi banyak variabel bisnis yang kategorikal: jenis kelamin, wilayah, metode pembayaran, dll.
Solusinya: dummy variables.
📊 Apa Itu Dummy Variable?
Dummy variable = variabel numerik yang mewakili kategori, biasanya bernilai 0 atau 1.
Kategori: QRIS, Transfer, COD (3 kategori)
Buat 2 dummy variables (k-1 = 3-1 = 2):
- D₁ (QRIS): 1 jika QRIS, 0 jika bukan
- D₂ (Transfer): 1 jika Transfer, 0 jika bukan
- Reference category: COD (ketika D₁ = 0 dan D₂ = 0)
Untuk variabel kategorikal dengan k kategori, buat k−1 dummy variables. Satu kategori jadi reference (baseline).
Mengapa k−1? Kalau buat k dummy, akan terjadi perfect multicollinearity (dummy trap) — karena jumlah semua dummy = 1 (intercept).
📊 Interpretasi Koefisien Dummy
Model: Omzet = 10 + 3(D₁_QRIS) + 1,5(D₂_Transfer) + 2(Iklan)
- b₁ = 3 (QRIS): Omzet dengan QRIS rata-rata Rp3 juta lebih tinggi daripada COD (reference), dengan asumsi iklan konstan.
- b₂ = 1,5 (Transfer): Omzet dengan Transfer rata-rata Rp1,5 juta lebih tinggi daripada COD, ceteris paribus.
- COD (reference): Baseline, ketika D₁ = 0 dan D₂ = 0.
🎯 Interaction Terms
Interaction term = perkalian dua predictor untuk menangkap efek sinergis atau kondisional.
- Obat saja: Turunkan berat 2 kg
- Diet saja: Turunkan berat 3 kg
- Obat + Diet: Turunkan berat 8 kg (bukan 2+3 = 5 kg!)
📊 Model dengan Interaction
Dimana:
- b₃: koefisien interaction — mengukur efek sinergis antara X₁ dan X₂
Model: Penjualan = 50 + 3(Iklan) − 2(Harga) + 0,5(Iklan × Harga)
- b₁ = 3: Efek utama iklan (ketika harga = 0)
- b₂ = −2: Efek utama harga (ketika iklan = 0)
- b₃ = 0,5: Interaction — efek iklan lebih kuat ketika harga tinggi
- Kalau harga rendah: efek iklan = 3 (biasa saja)
- Kalau harga tinggi: efek iklan = 3 + 0,5 × Harga = lebih besar
🎯 Hierarchical Principle
Kalau Anda masukkan interaction term X₁×X₂, Anda WAJIB juga masukkan X₁ dan X₂ secara individual, meskipun tidak signifikan.
- ❌ Salah: Model = b₀ + b₃(X₁×X₂) — hanya interaction, tanpa main effects
- ✅ Benar: Model = b₀ + b₁X₁ + b₂X₂ + b₃(X₁×X₂)
- Kalau secara teori/logika bisnis, efek satu variabel bergantung pada level variabel lain
- Contoh: efek diskon terhadap penjualan mungkin berbeda untuk produk murah vs mahal
- Selalu uji signifikansi interaction term (t-test atau partial F-test)
🚨 Bagian 8: 8 Kesalahan Fatal Peneliti Pemula dalam Multiple Regression
🚨 Mengapa Section Ini Penting?
Multiple regression adalah alat paling powerful — tapi juga paling sering disalahgunakan. Berikut 8 kesalahan yang harus Anda hindari:
❌ Kesalahan #1: Memasukkan Semua Variabel “Biar Lengkap”
Yang salah: Masukkan 20 predictor ke model, tanpa seleksi.
Akibat: Model overfit, prediksi buruk untuk data baru, sulit interpretasi.
Solusi: Pakai model selection (forward, backward, stepwise) atau seleksi berbasis teori.
❌ Kesalahan #2: Tidak Cek Multicollinearity
Yang salah: Langsung interpretasi koefisien tanpa cek VIF.
Akibat: Koefisien tidak stabil, interpretasi menyesatkan.
Solusi: Cek VIF. Kalau > 5, pertimbangkan hapus/kombinasi predictor.
❌ Kesalahan #3: Lupa “Ceteris Paribus” saat Interpretasi
Yang salah: “Iklan meningkatkan penjualan Rp3,2 juta.” (tanpa kualifikasi)
Mengapa salah: Di multiple regression, koefisien adalah efek bersih setelah mengontrol variabel lain.
Solusi: Selalu sebutkan “dengan asumsi variabel lain konstan”.
❌ Kesalahan #4: Hanya Lihat R², Lupa Adjusted R²
Yang salah: “R² = 0,95, model sempurna!”
Mengapa salah: R² selalu naik kalau tambah predictor, bahkan yang tidak berguna.
Solusi: Untuk bandingkan model, selalu pakai Adjusted R².
❌ Kesalahan #5: Dummy Variable Trap
Yang salah: Variabel dengan 3 kategori, buat 3 dummy variables.
Akibat: Perfect multicollinearity, software error atau hasil aneh.
Solusi: Buat k−1 dummy. Satu kategori jadi reference.
❌ Kesalahan #6: Interaction tanpa Main Effects
Yang salah: Model = b₀ + b₃(X₁×X₂) — hanya interaction.
Akibat: Koefisien sulit interpretasi, model tidak stabil.
Solusi: Selalu sertakan main effects (X₁ dan X₂) bersama interaction.
❌ Kesalahan #7: Klaim Kausal dari Regresi Observasional
Yang salah: “Iklan menyebabkan penjualan naik.”
Mengapa salah: Regresi observasional hanya menunjukkan asosiasi, bukan kausalitas. Bisa ada confounding variable.
Solusi: Gunakan kata “terasosiasi” atau “memprediksi”, bukan “menyebabkan”. Untuk klaim kausal, butuh eksperimen (RCT).
❌ Kesalahan #8: Tidak Validasi Model
Yang salah: Hanya fit model di satu dataset, langsung dipakai prediksi.
Akibat: Model mungkin overfit, performa buruk di data baru.
Solusi: Split data jadi training (70-80%) dan testing (20-30%). Fit di training, evaluasi di testing. Atau pakai cross-validation.
Sebelum submit riset, cek ulang:
- ☑️ Sudah seleksi predictor (tidak asal masukkan semua)?
- ☑️ Sudah cek multicollinearity (VIF)?
- ☑️ Sudah interpretasi dengan “ceteris paribus”?
- ☑️ Sudah lihat Adjusted R² (bukan cuma R²)?
- ☑️ Dummy variables: sudah buat k−1?
- ☑️ Interaction: sudah sertakan main effects?
- ☑️ Sudah hindari klaim kausal?
- ☑️ Sudah validasi model (train/test split)?
🎓 Bagian 9: Advanced Regression Models — Ketika Asumsi Linear Tidak Terpenuhi
⚠️ PERINGATAN DOSEN: Dosa Metodologis Terbesar di Riset Indonesia
JANGAN PERNAH mengubah data ordinal (skala Likert), data nominal (kategori tanpa urutan), atau data skala persepsi menjadi data interval/rasio, lalu dianalisis dengan regresi linear biasa (OLS).
Mengapa ini dosa besar? Karena data ordinal punya urutan tapi tidak punya jarak yang sama antar kategori. Memaksakannya jadi interval sama saja dengan menganggap “jarak antara Sangat Tidak Puas → Tidak Puas” sama dengan “jarak antara Puas → Sangat Puas”. Ini tidak benar secara matematis.
Konsekuensinya fatal: Kesimpulan statistik yang Anda tarik TIDAK MASUK AKAL dan tidak bisa dipertanggungjawabkan secara ilmiah. Skripsi/tesis yang melakukan ini seharusnya ditolak di sidang.
Solusi yang benar: Gunakan Regresi Logistik Ordinal (untuk data bertingkat seperti Likert) atau Regresi Logistik Multinomial (untuk data nominal >2 kategori).
💡 Jujur saja: Memang effort-nya lebih tinggi — software-nya lebih rumit, interpretasinya lebih dalam, dan butuh pemahaman metodologis yang kuat. Tapi hasilnya sesuai dengan metodologi yang valid. Jangan korbankan integritas ilmiah hanya demi “mudah dianalisis”.
— Ir. Aurino Rilman Adam Djamaris, MM —
🤔 Mengapa Perlu Model Regresi Lain?
Regresi linear klasik membutuhkan variabel dependen (Y) bersifat numerik dan kontinu. Tapi dalam riset bisnis Indonesia, banyak data yang:
- Bersifat kategorik (beli/tidak beli, metode pembayaran)
- Bersifat ordinal (skala Likert: sangat tidak puas → sangat puas)
- Hubungannya tidak linear (pertumbuhan eksponensial, learning curve)
Banyak penelitian bisnis menggunakan data skala Likert atau data kategorik, tetapi tetap dianalisis dengan regresi linear berganda. Ini bisa menghasilkan estimasi yang bias dan interpretasi yang menyesatkan.
Solusi: Pilih model regresi yang sesuai dengan jenis data Y Anda.
📊 Panduan Pemilihan Model Regresi
| Jenis Data Y | Model yang Tepat | Kapan Dipakai |
|---|---|---|
| Numerik kontinu | Linear / Multiple Regression | Penjualan, omzet, skor (kontinu) |
| Biner (0/1) | Logistic Regression | Beli/tidak beli, churn/tidak churn |
| Nominal (>2 kategori) | Multinomial Logistic | Metode pembayaran, pilihan merek |
| Ordinal (Likert) | Ordinal Logistic | Kepuasan (1-5), loyalitas (1-7) |
| Non-linear | Non-Linear Regression | Pertumbuhan, learning curve |
1️⃣ Logistic Regression (Binary)
Digunakan ketika Y bersifat dikotomik (0/1). Model ini memprediksi probabilitas kejadian.
- Contoh: Beli / Tidak beli, Churn / Tidak churn
- Output utama: odds ratio
- Mengapa bukan regresi linear? Karena regresi linear dapat menghasilkan probabilitas < 0 atau > 1.
2️⃣ Multinomial Logistic Regression
Digunakan ketika Y bersifat nominal dengan lebih dari dua kategori dan tidak memiliki urutan.
- Contoh: Metode pembayaran (QRIS, Transfer, COD), pilihan merek (A, B, C, D)
- Satu kategori dijadikan referensi
- Sangat relevan untuk analisis preferensi konsumen dan segmentasi pasar
3️⃣ Ordinal Logistic Regression
Digunakan ketika Y bersifat ordinal, seperti skala Likert.
- Mempertahankan urutan kategori
- Tidak memaksakan jarak yang sama antar kategori
- Sangat penting untuk riset Indonesia: Sebagian besar penelitian bisnis menggunakan skala Likert yang secara teori bersifat ordinal
4️⃣ Non-Linear Regression
Digunakan ketika hubungan X dan Y tidak dapat direpresentasikan secara garis lurus.
- Eksponensial: pertumbuhan (compound interest, viral marketing)
- Logaritmik: learning curve (semakin lama semakin lambat peningkatannya)
- Kuadratik: diminishing return (efek iklan meningkat cepat di awal, lalu melambat)
Efektivitas iklan yang meningkat cepat di awal, namun melambat setelah titik tertentu (diminishing returns). Kalau pakai regresi linear, prediksi akan terus naik tak terbatas — tidak realistis. Model kuadratik atau logaritmik lebih tepat.
🎥 Video Pendukung: Regresi Logistik Ordinal & Multinomial
“Pilih model yang sesuai dengan sifat data Anda, bukan model yang paling Anda kuasai.”
Regresi linear powerful, tapi tidak selalu tepat. Kalau Y kategorik → pakai logistic. Kalau Y ordinal → pakai ordinal logistic. Jangan paksa data masuk ke model yang salah.
📊 Jalankan Multiple Regression dengan Output ala SPSS
Sudah paham teori multiple regression? Sekarang praktikkan langsung! Masukkan data Anda (beberapa variabel X dan satu Y) ke Kalkulator Statistik SPSS-Style, dan dapatkan output lengkap: koefisien regresi, Adjusted R², overall F-test, t-test individual, VIF untuk multicollinearity, dan ANOVA table — persis seperti output SPSS, tapi berjalan 100% di browser Anda.
📊 Buka Kalkulator Regresi Berganda →✅ Bagian 10: Ringkasan & Checklist Praktis Sesi 13
🗺️ Peta Konsep Sesi 13
| Konsep | Rumus/Konsep Utama | Fungsi |
|---|---|---|
| Multiple Regression Model | Ŷ = b₀ + b₁X₁ + … + bₖXₖ | Prediksi Y dari banyak X |
| Adjusted R² | 1 − [(1−R²)(n−1)/(n−k−1)] | Penyesuaian R² untuk jumlah predictor |
| Overall F-test | F = MSR / MSE | Uji signifikansi model keseluruhan |
| Multicollinearity (VIF) | VIF = 1 / (1 − Rᵢ²) | Deteksi korelasi antar predictor |
| t-test Individual | t = bᵢ / Sbᵢ | Uji signifikansi tiap predictor |
| Partial F-test | F = [(SSRfull − SSRreduced)/q] / [SSEfull/(n−k−1)] | Uji sekelompok predictor |
| Dummy Variables | k−1 dummy untuk k kategori | Masukkan variabel kategorikal |
| Interaction Terms | X₁ × X₂ | Capturing efek sinergis |
📋 Checklist 10 Langkah Multiple Regression
- ☑️ Sudah tentukan predictor berdasarkan teori/logika bisnis?
- ☑️ Sudah cek multicollinearity (VIF < 5)?
- ☑️ Sudah fit model dan cek overall F-test?
- ☑️ Sudah lihat R² dan Adjusted R²?
- ☑️ Sudah cek residual analysis (LINE)?
- ☑️ Sudah lihat t-test individual untuk tiap predictor?
- ☑️ Untuk variabel kategorikal: sudah buat k−1 dummy?
- ☑️ Kalau ada interaction: sudah sertakan main effects?
- ☑️ Sudah interpretasi koefisien dengan “ceteris paribus”?
- ☑️ Sudah validasi model (train/test split atau cross-validation)?
🎯 Formula Sheet Ringkas
Ŷ = b₀ + b₁X₁ + b₂X₂ + … + bₖXₖ
Adj R² = 1 − [(1 − R²)(n − 1) / (n − k − 1)]
F = (SSR / k) / (SSE / (n − k − 1))
VIFᵢ = 1 / (1 − Rᵢ²)
F = [(SSRfull − SSRreduced) / q] / [SSEfull / (n − k − 1)]
t = bᵢ / Sbᵢ, df = n − k − 1
“Model yang baik bukan yang paling kompleks, tapi yang paling parsimonious — sederhana tapi powerful.”
Selalu laporkan: (1) persamaan regresi, (2) Adjusted R², (3) hasil overall F-test, (4) VIF untuk multicollinearity, (5) t-test individual, (6) residual analysis, (7) interpretasi bisnis dengan “ceteris paribus”, (8) validasi model.
📚 Persiapan Sesi Berikutnya
Setelah menguasai multiple regression, Anda siap masuk ke topik-topik advanced seperti:
- Logistic Regression — untuk variabel dependen kategorikal
- Time Series Analysis — untuk data berurutan waktu
- Machine Learning — predictive modeling modern
Selamat! Anda telah menyelesaikan fondasi statistika bisnis yang solid. 🎉