Bab 19

Analisis Data: PCA & Regresi

Bab 14 memperkenalkan penyelesaian masalah kuadrat terkecil konvensional untuk mengonstruksi model regresi linear dasar. Bab ini mengangkat pemahaman tersebut ke tingkat industri tingkat tinggi dengan membedah instrumen aljabar terapan yang menggerakkan sains data modern. Kita akan mengeksploitasi dekomposisi nilai singular untuk membangun arsitektur Regresi Ridge (Tikhonov) guna menjinakkan matriks multikolinear yang sakit. Selanjutnya, kita akan mendalami filosofi dan mekanika Analisis Komponen Utama (Principal Component Analysis atau PCA) memanfaatkan dekomposisi spektral matriks kovarians, menyusun mesin reduksi dimensi raksasa yang mampu mengekstraksi fitur data utama tanpa kehilangan variabilitas informasi penting.

19.1 Regresi Ridge (Tikhonov) via SVD

Pada Bagian 14.4, kita membuktikan bahwa solusi kuadrat terkecil konvensional bersifat unik jika dan hanya jika matriks koefisien $A$ memiliki kolom-kolom yang bebas linear, sehingga matriks produk kuadratis $A^T A$ dijamin invertibel. Namun, dalam analisis data dunia nyata, kita sering menghadapi fenomena multikolinearitas (multicollinearity), di mana beberapa variabel prediktor memiliki hubungan keterikatan linear yang sangat kuat.

Kondisi ini menyebabkan matriks $A^T A$ menjadi sakit (ill-conditioned), memuat nilai bilangan kondisi yang meledak raksasa ($\kappa \to \infty$). Akibatnya, galat pembulatan komputer akan menghancurkan presisi solusi, membuat estimasi parameter menjadi tidak stabil dan rentan mengalami overfitting.

Definisi 19.1 — Formulasi Solusi Regresi Ridge (Regularisasi Tikhonov)

Untuk menstabilkan matriks yang sakit, Regresi Ridge (dikenal di dunia teknik sebagai regularisasi Tikhonov) menyisipkan sebuah parameter penalti redaman positif, dinotasikan sebagai $\lambda > 0$, langsung ke dalam diagonal utama persamaan normal persegi. Formulasi solusi ridge dikunci melalui sistem persamaan linear persegi:

\[ (A^T A + \lambda I_n)\,\hat{\mathbf{x}}_{\text{ridge}} = A^T \mathbf{b} \]

Penyisipan konstanta $\lambda I_n$ ini secara formal memaksa matriks koefisien konstan baru untuk selalu bersifat positif definit, sehingga dijamin pasti selalu memiliki invers yang stabil, sepenuhnya meloloskan sistem dari bahaya singularitas.

Untuk membedah mekanisme kerja penalti ridge secara mendalam, kita dapat mensubstitusikan komponen dekomposisi SVD universal $A = U\Sigma V^T$ (Bab 16) ke dalam formulasi sistem tersebut. Melalui manipulasi aljabar berantai, kita dapat mengisolasi nilai parameter solusi ridge ke dalam bentuk rumusan filter nilai singular:

\[ \hat{\mathbf{x}}_{\text{ridge}} = V\,\Sigma_{\text{ridge}}^{+}\,U^T \mathbf{b} \]

Di mana komponen matriks filter $\Sigma_{\text{ridge}}^{+}$ berukuran $n \times m$ dikonstruksi dengan mengganti setiap entri invers pseudoinvers konvensional $\frac{1}{\sigma_i}$ pada matriks $\Sigma^+$ menjadi format rasio redaman:

\[ f_i = \frac{\sigma_i}{\sigma_i^2 + \lambda} \]

Perhatikan perilaku dari faktor rasio filter ridge di atas: ketika nilai singular berukuran sangat kecil ($\sigma_i \to 0$ akibat ketergantungan linear), nilai pembagi tidak lagi runtuh menuju nol karena ditahan secara aman oleh parameter penalti $\lambda$. Skenario ini memotong magnitudo komponen derau data (noise) secara dramatis, menghasilkan estimasi parameter model yang sangat kokoh dan stabil.

Contoh 19.1 — Aplikasi Filter Ridge via SVD pada Kasus Matriks Sakit

Misalkan sebuah matriks data memuat nilai singular terbesar $\sigma_1 = 10$ dan nilai singular terkecil yang sakit $\sigma_2 = 0{,}01$. Bandingkan nilai entri filter invers konvensional pseudoinvers ($\frac{1}{\sigma_2}$) terhadap nilai entri filter regresi ridge jika sistem menetapkan konstanta parameter penalti sebesar $\lambda = 0{,}1$.

Penyelesaian Analitis:

1. Evaluasi Kasus Pseudoinvers Konvensional (Moore-Penrose):
Tanpa intervensi regularisasi, entri invers untuk komponen kedua dihitung secara langsung:

\[ \frac{1}{\sigma_2} = \frac{1}{0{,}01} = 100 \]
Nilai skalar $100$ ini bertindak sebagai pengali raksasa yang akan memperbesar galat pembulatan desimal komputer secara liar jika data target memuat sedikit saja derau noise.
2. Evaluasi Kasus Regresi Ridge via SVD:
Terapkan rumus rasio redaman sesuai rumusan filter fungsional:

\[ f_2 = \frac{\sigma_2}{\sigma_2^2 + \lambda} = \frac{0{,}01}{(0{,}01)^2 + 0{,}1} = \frac{0{,}01}{0{,}0001 + 0{,}1} = \frac{0{,}01}{0{,}1001} \approx 0{,}0999 \]

Analisis Hasil Komparasi: Perhatikan perbandingan kontras antara nilai $100$ dengan nilai $0{,}0999$. Intervensi regularisasi ridge berhasil memangkas kekuatan pengali komponen sakit hingga seribu kali lipat lebih rendah, membuktikan stabilitas numerik regresi ridge terjalin secara sempurna $\checkmark$.

Contoh 19.2 — Regresi Ridge Menyelamatkan Matriks Singular

Tinjau sistem kuadrat terkecil berikut yang menderita multikolinearitas ekstrem (kolom-kolom $A$ identik):

\[ A = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 2 \\ 2 \end{bmatrix} \]

(a) Buktikan bahwa solusi OLS konvensional tidak eksis secara unik.
(b) Hitung solusi ridge untuk $\lambda = 1$ dan $\lambda = \tfrac{1}{2}$, lalu amati pola konvergensi.

Penyelesaian Analitis:

Bagian (a): Kegagalan OLS Konvensional

\[ A^T A = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}^T \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix} = \begin{bmatrix} 2 & 2 \\ 2 & 2 \end{bmatrix} \]

\[ \det(A^T A) = (2)(2) - (2)(2) = 0 \]

Matriks $A^T A$ bersifat singular ($\operatorname{rank} = 1$), sehingga persamaan normal $(A^T A)\hat{\mathbf{x}} = A^T \mathbf{b}$ memiliki tak-hingga banyak solusi. Secara geometris, seluruh vektor yang memenuhi $\hat{x}_1 + \hat{x}_2 = 2$ merupakan solusi OLS yang valid — tidak ada solusi unik $\checkmark$.

Bagian (b): Solusi Regresi Ridge

Untuk $\lambda = 1$: matriks koefisien ridge menjadi

\[ A^T A + I = \begin{bmatrix} 3 & 2 \\ 2 & 3 \end{bmatrix}, \qquad \det = 9 - 4 = 5 \neq 0 \;\checkmark \]

\[ (A^T A + I)^{-1} = \frac{1}{5}\begin{bmatrix} 3 & -2 \\ -2 & 3 \end{bmatrix}, \qquad A^T \mathbf{b} = \begin{bmatrix} 4 \\ 4 \end{bmatrix} \]

\[ \hat{\mathbf{x}}_{\text{ridge}} = \frac{1}{5}\begin{bmatrix} 3 & -2 \\ -2 & 3 \end{bmatrix}\begin{bmatrix} 4 \\ 4 \end{bmatrix} = \frac{1}{5}\begin{bmatrix} 4 \\ 4 \end{bmatrix} = \begin{bmatrix} 4/5 \\ 4/5 \end{bmatrix} = \begin{bmatrix} 0{,}8 \\ 0{,}8 \end{bmatrix} \]

Untuk $\lambda = \tfrac{1}{2}$:

\[ A^T A + \tfrac{1}{2}I = \begin{bmatrix} 5/2 & 2 \\ 2 & 5/2 \end{bmatrix}, \qquad \det = \tfrac{25}{4} - 4 = \tfrac{9}{4} \]

\[ (A^T A + \tfrac{1}{2}I)^{-1} = \frac{4}{9}\begin{bmatrix} 5/2 & -2 \\ -2 & 5/2 \end{bmatrix} = \begin{bmatrix} 10/9 & -8/9 \\ -8/9 & 10/9 \end{bmatrix} \]

\[ \hat{\mathbf{x}}_{\text{ridge}} = \begin{bmatrix} 10/9 & -8/9 \\ -8/9 & 10/9 \end{bmatrix}\begin{bmatrix} 4 \\ 4 \end{bmatrix} = \begin{bmatrix} 8/9 \\ 8/9 \end{bmatrix} \approx \begin{bmatrix} 0{,}889 \\ 0{,}889 \end{bmatrix} \]

Analisis Pola Konvergensi:

$\lambda = 1$: $\hat{\mathbf{x}} = [0{,}8,\; 0{,}8]^T$
$\lambda = \tfrac{1}{2}$: $\hat{\mathbf{x}} = [0{,}889,\; 0{,}889]^T$
Secara analitis, ketika $\lambda \to 0^+$, solusi ridge konvergen menuju $\begin{bmatrix} 1 \\ 1 \end{bmatrix}^T$ — yaitu solusi norma-minimum dari himpunan solusi OLS tak-terhingga tersebut.

Ridge secara otomatis "membagi berat" secara simetris di antara dua prediktor yang identik, dan semakin kecil $\lambda$, semakin dekat solusi menuju solusi OLS bermagnitude minimum $\checkmark$.

19.2 Filosofi Analisis Komponen Utama (PCA)

Dalam analisis big-data modern, kita sering kali dihadapkan pada kumpulan data masif yang memuat puluhan atau ratusan variabel fitur (multivariat). Masalah utamanya adalah sebagian besar dari variabel-variabel tersebut saling tumpang tindih karena menyimpan informasi yang sama (redundansi data). Mengabaikan kondisi ini akan memicu ledakan dimensi komputasi yang tidak perlu.

Analisis Komponen Utama (atau Principal Component Analysis, dinotasikan secara universal sebagai PCA) memecahkan tantangan tersebut menggunakan pendekatan geometri-aljabar yang sangat elegan. Filosofi dasar PCA bukan membuang variabel secara acak, melainkan melakukan rotasi ortogonal terhadap sumbu koordinat standar untuk mencari arah pandang baru yang paling informatif.

Mari kita bedah kriteria penentuan sumbu koordinat baru ini berdasarkan tiga pilar filosofi matematika:

Maksimisasi Varians (Variance Maximization): Sumbu utama pertama (disebut Komponen Utama 1 atau PC1) diletakkan tepat membentang sepanjang arah sebaran data yang memuat variabilitas terbesar. Varians bertindak sebagai indikator matematis dari kuantitas volume informasi; semakin besar varians pada suatu arah, semakin banyak informasi data yang berhasil direkam.
Ortogonalitas Mutlak (Orthogonal Constraints): Sumbu utama kedua (PC2) diwajibkan berdiri tegak lurus sempurna (ortogonal) terhadap PC1, dan diletakkan sepanjang arah sisa sebaran data terbesar berikutnya. Aturan ortogonalitas ini menjamin secara mutlak bahwa antara PC1 dan PC2 tidak memuat korelasi informasi sama sekali, menghilangkan redundansi data secara total.
Reduksi Dimensi Tanpa Kehilangan Informasi (Information Preservation): Dengan mengulangi prosedur ini untuk dimensi berikutnya, kita dapat memproyeksikan data asli berdimensi tinggi ke dalam subruang berdimensi sangat rendah (misalnya dari 100 dimensi menjadi cukup 2 atau 3 dimensi saja) dengan tetap mempertahankan porsi terbesar dari total varians data asli.

Analogi Geometri: Bayangan Objek Tiga Dimensi

Untuk membangun intuisi visual yang kokoh, bayangkan sebuah objek tiga dimensi yang rumit di dalam ruangan. Jika Anda ingin memotret objek tersebut menjadi gambar dua dimensi yang paling mewakili bentuk aslinya, Anda akan memutar posisi kamera hingga menemukan sudut pandang terbaik yang mampu menangkap detail sebaran bayangan objek secara paling luas.

Prosedur pencarian sudut pandang kamera terbaik tersebut sejatinya merupakan manifestasi mekanis dari algoritma PCA. Sumbu lensa kamera bertindak sebagai sumbu proyeksi, dan gambar dua dimensi yang dihasilkan merupakan representasi reduksi dimensi yang berhasil mengunci esensi informasi objek tiga dimensi.

19.3 Estimasi PCA via Matriks Kovarians

Untuk mewujudkan filosofi pemetaan PCA menjadi algoritma numerik yang presisi, aljabar linear menghubungkan pencarian sumbu utama langsung dengan analisis spektral dari **matriks kovarians sampel**. Operator statistik ini merekam jalinan korelasi linear antar-seluruh pasangan variabel fitur secara simultan.

19.3.1 Prapemrosesan Data: Pemusatan Rata-Rata (Data Centering)

Sebelum melangkah ke pembentukan matriks kovarians, kita wajib melakukan tahapan prapemrosesan data yang sangat kritikal, yaitu **pemusatan rata-rata (data centering)**. Misalkan kita memiliki matriks data mentah $X_{\text{raw}}$ berukuran $m \times n$, di mana $m$ merepresentasikan kuantitas sampel pengujian dan $n$ merepresentasikan kuantitas variabel fitur.

Kita hitung nilai rata-rata sampel dari setiap kolom variabel, kemudian kita kurangkan nilai rata-rata tersebut dari setiap entri data yang bersesuaian. Prosedur ini menghasilkan matriks data tersenter, dinotasikan sebagai $X$:

\[ x_{ij} = x_{ij,\text{raw}} - \mu_j \]

Tahapan pemusatan ini secara geometris berfungsi untuk menggeser titik pusat massa (centroid) dari sebaran data tepat menuju ke titik pusat asal koordinat (origin, $\mathbf{0}$), sehingga kalkulasi nilai varians ke depan murni mengukur penyimpangan geometri sebaran data tanpa dipengaruhi oleh pergeseran lokasi absolut data.

19.3.2 Konstruksi Matriks Kovarians

Definisi 19.2 — Matriks Kovarians Sampel

Misalkan $X$ adalah matriks data tersenter berukuran $m \times n$. Matriks Kovarians Sampel, dinotasikan secara universal dengan simbol Yunani $\Sigma_{\text{cov}}$ atau matriks persegi $S$ berukuran $n \times n$, didefinisikan secara formal melalui rumusan produk perkalian matriks:

\[ S = \frac{1}{m - 1}\,X^T X \]

Di mana pembagi konstanta $m - 1$ bertindak sebagai faktor koreksi Bessel statistika untuk menjamin estimasi varians bersifat tidak bias (unbiased estimator).

Mari kita bedah karakteristik struktur aljabar dari matriks kovarians sampel $S$ persegi berukuran $n \times n$ ini:

Entri sepanjang diagonal utama pada koordinat posisi $(i,i)$ menyimpan kuantitas nilai **varians murni** dari variabel fitur ke-$i$. Nilai ini selalu positif atau nol, menunjukkan tingkat penyebaran data pada dimensi tersebut.
Entri off-diagonal pada koordinat posisi $(i,j)$ dan $(j,i)$ menyimpan kuantitas nilai **kovarians bersama** antar-variabel ke-$i$ dan ke-$j$. Tanda positif mengindikasikan korelasi searah, tanda negatif mengindikasikan korelasi berbalik arah, dan nilai nol menunjukkan ketiadaan korelasi linear.

Karena jalinan interaksi berlaku secara komutatif, matriks $S$ dijamin selalu bertindak sebagai **matriks simetris riil** ($S^T = S$). Konsekuensinya, berdasarkan kepastian hukum dari Teorema Spektral (Teorema 15.4), seluruh akar karakteristik nilai eigen dari matriks kovarians dipastikan memuat nilai bilangan real positif dan kolom-kolom ruang eigennya dipastikan saling tegak lurus.

Teorema 19.1 — Ekstraksi Komponen Utama via Vektor Eigen

Misalkan $S$ adalah matriks kovarians simetris berukuran $n \times n$ dari matriks data tersenter $X$. Jika kita mengurutkan seluruh nilai eigen dari matriks $S$ dari terbesar hingga terkecil ($\lambda_1 \geq \lambda_2 \geq \ldots \geq \lambda_n \geq 0$), maka:

Nilai eigen ke-$i$ ($\lambda_i$) bertindak mengunci nilai **kuantitas varians data** yang berhasil diserap dan diwakili oleh Komponen Utama ke-$i$ (PC ke-$i$).
Vektor eigen satuan $\mathbf{p}_i$ yang berpasangan dengan nilai eigen $\lambda_i$ bertindak secara formal sebagai **vektor pembebanan (loading vector)** yang mengunci arah sumbu utama dari PC ke-$i$.
Proporsi varians total yang berhasil dijelaskan oleh $k$ buah komponen utama pertama dihitung melalui rasio penjumlahan kumulatif:
\[ \text{Proporsi Penyerapan Informasi} = \frac{\displaystyle\sum_{i=1}^{k} \lambda_i}{\displaystyle\sum_{j=1}^{n} \lambda_j} \]

Contoh 19.3 — Prosedur Lengkap PCA via Matriks Kovarians

Tiga sampel pengujian telah diukur pada dua variabel fitur. Setelah tahapan pemusatan rata-rata (data centering) dieksekusi, diperoleh matriks data tersenter:

\[ X = \begin{bmatrix} 2 & 1 \\ -1 & -2 \\ -1 & 1 \end{bmatrix} \]

Laksanakan prosedur PCA secara lengkap: konstruksi matriks kovarians, ekstraksi nilai eigen dan vektor pembebanan, hitung matriks skor, dan evaluasi proporsi varians.

Penyelesaian Analitis:

Langkah 1: Konstruksi Matriks Kovarians $S$

Dengan $m = 3$ sampel dan $n = 2$ fitur, faktor koreksi Bessel adalah $m - 1 = 2$:

\[ X^T X = \begin{bmatrix} 2 & -1 & -1 \\ 1 & -2 & 1 \end{bmatrix} \begin{bmatrix} 2 & 1 \\ -1 & -2 \\ -1 & 1 \end{bmatrix} = \begin{bmatrix} 4+1+1 & 2+2-1 \\ 2+2-1 & 1+4+1 \end{bmatrix} = \begin{bmatrix} 6 & 3 \\ 3 & 6 \end{bmatrix} \]

\[ S = \frac{1}{2}\begin{bmatrix} 6 & 3 \\ 3 & 6 \end{bmatrix} = \begin{bmatrix} 3 & 3/2 \\ 3/2 & 3 \end{bmatrix} \]

Interpretasi: varians masing-masing fitur adalah $3$ (diagonal), dan kovarians bersama positif $3/2$ mengindikasikan korelasi searah yang kuat antar kedua variabel.

Langkah 2: Ekstraksi Nilai Eigen (Varians PC)

\[ \det(S - \lambda I) = \begin{vmatrix} 3 - \lambda & 3/2 \\ 3/2 & 3 - \lambda \end{vmatrix} = (3 - \lambda)^2 - \tfrac{9}{4} = \lambda^2 - 6\lambda + 9 - \tfrac{9}{4} = \lambda^2 - 6\lambda + \tfrac{27}{4} = 0 \]

\[ \lambda = \frac{6 \pm \sqrt{36 - 27}}{2} = \frac{6 \pm 3}{2} \implies \boxed{\lambda_1 = \tfrac{9}{2}},\quad \boxed{\lambda_2 = \tfrac{3}{2}} \]

Varians total data = $\lambda_1 + \lambda_2 = \frac{9}{2} + \frac{3}{2} = 6$.

Langkah 3: Ekstraksi Vektor Pembebanan (Loading Vectors)

Untuk $\lambda_1 = \tfrac{9}{2}$:

\[ \left(S - \tfrac{9}{2}I\right)\mathbf{p}_1 = \begin{bmatrix} -3/2 & 3/2 \\ 3/2 & -3/2 \end{bmatrix}\begin{bmatrix} p_{11} \\ p_{21} \end{bmatrix} = \mathbf{0} \implies p_{11} = p_{21} \]

Normalisasi: $\mathbf{p}_1 = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{2} \end{bmatrix}^T$. Ini adalah arah PC1 — sepanjang garis $x_1 = x_2$ (diagonal utama).

Untuk $\lambda_2 = \tfrac{3}{2}$:

\[ \left(S - \tfrac{3}{2}I\right)\mathbf{p}_2 = \begin{bmatrix} 3/2 & 3/2 \\ 3/2 & 3/2 \end{bmatrix}\begin{bmatrix} p_{12} \\ p_{22} \end{bmatrix} = \mathbf{0} \implies p_{12} = -p_{22} \]

Normalisasi: $\mathbf{p}_2 = \begin{bmatrix} 1/\sqrt{2} & -1/\sqrt{2} \end{bmatrix}^T$. Ini adalah arah PC2 — sepanjang garis $x_1 = -x_2$ (diagonal sekunder). Perhatikan $\mathbf{p}_1^T \mathbf{p}_2 = 0$ $\checkmark$ (ortogonal mutlak).

Langkah 4: Komputasi Matriks Skor $Z = XV$

\[ Z = X\begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ 1/\sqrt{2} & -1/\sqrt{2} \end{bmatrix} \]

\[ = \begin{bmatrix} 2(1/\sqrt{2}) + 1(1/\sqrt{2}) & 2(1/\sqrt{2}) + 1(-1/\sqrt{2}) \\ (-1)(1/\sqrt{2}) + (-2)(1/\sqrt{2}) & (-1)(1/\sqrt{2}) + (-2)(-1/\sqrt{2}) \\ (-1)(1/\sqrt{2}) + 1(1/\sqrt{2}) & (-1)(1/\sqrt{2}) + 1(-1/\sqrt{2}) \end{bmatrix} \]

\[ = \begin{bmatrix} 3/\sqrt{2} & 1/\sqrt{2} \\ -3/\sqrt{2} & 1/\sqrt{2} \\ 0 & -2/\sqrt{2} \end{bmatrix} \]

Langkah 5: Verifikasi Varians Skor dan Evaluasi Proporsi

Varians skor PC1: $\frac{1}{m-1}\sum z_{i1}^2 = \frac{1}{2}\!\left(\frac{9}{2} + \frac{9}{2} + 0\right) = \frac{9}{2} = \lambda_1$ $\checkmark$

Varians skor PC2: $\frac{1}{m-1}\sum z_{i2}^2 = \frac{1}{2}\!\left(\frac{1}{2} + \frac{1}{2} + 2\right) = \frac{3}{2} = \lambda_2$ $\checkmark$

\[ \text{Proporsi PC1} = \frac{\lambda_1}{\lambda_1 + \lambda_2} = \frac{9/2}{6} = \frac{3}{4} = 75\% \]

Kesimpulan: Komponen Utama pertama (PC1) saja sudah mampu menyerap $75\%$ dari total varians data. Jika kita memproyeksikan data dari 2 dimensi menjadi 1 dimensi (hanya mempertahankan PC1), kita kehilangan hanya $25\%$ informasi. Ini menunjukkan bahwa kedua variabel fitur asli memuat redundansi yang signifikan — sebagian besar informasi terkonsentrasi sepanjang arah diagonal $x_1 = x_2$ $\checkmark$.

19.4 Ekstraksi Faktor PCA via SVD

Meskipun metode pembentukan matriks kovarians $S = \frac{1}{m-1}X^T X$ pada Bagian 19.3 sangat intuitif, ia memuat bahaya komputasi yang besar ketika diimplementasikan ke dalam program komputer. Proses eksplisit mengalikan matriks $X^T X$ secara mekanis akan memboroskan siklus kerja prosesor komputer dan rentan terhadap akumulasi galat pembulatan desimal yang dapat merusak presisi solusi data.

Untuk mengamankan validitas komputasi industri, pustaka tingkat tinggi (seperti NumPy, SciPy, atau scikit-learn) mengalihkan perhitungan dengan mengeksekusi **Dekomposisi Nilai Singular (SVD)** langsung pada matriks data tersenter $X$ tanpa pernah membentuk matriks kovarians di dalam memori RAM.

Teorema 19.2 — Ekuivalensi Mutlak PCA via SVD

Misalkan $X$ adalah sebuah matriks data tersenter berukuran $m \times n$. Jika kita mengeksekusi dekomposisi SVD penuh terhadap matriks tersebut ($X = U\Sigma V^T$), maka dijamin pasti berlaku hubungan keselarasan matematis berikut:

Matriks **$V$ (Right Singular Vectors)** secara mutlak memuat susunan barisan vektor eigen yang persis sama dengan matriks transisi pembebanan yang dihasilkan oleh diagonalisasi matriks kovarians $S$. Kolom-kolom matriks $V$ bertindak sebagai arah sumbu utama (PC).
Nilai eigen $\lambda_i$ dari matriks kovarians diikat secara linier dengan nilai singular $\sigma_i$ dari matriks $X$ melalui hubungan kuadratis:
\[ \lambda_i = \frac{\sigma_i^2}{m - 1} \]
Proyeksi data ke dalam ruang koordinat baru (disebut sebagai nilai skor atau score matrix, $Z$) dihitung secara instan cukup dengan mengalikan matriks left singular dengan matriks nilai singular:
\[ Z = XV = U\Sigma \]

Fakta matematika ini membuktikan bahwa SVD bertindak sebagai mesin universal yang mengekstrak fitur data utama secara jauh lebih cepat dan stabil secara numerik dibandingkan memaksakan kalkulasi matriks kovarians tradisional.

Contoh 19.4 — Verifikasi Ekuivalensi SVD-PCA pada Matriks Data Tersenter

Gunakan kembali matriks data tersenter dari Contoh 19.3 dan verifikasi seluruh properti Teorema 19.2 secara eksplisit melalui dekomposisi SVD langsung:

\[ X = \begin{bmatrix} 2 & 1 \\ -1 & -2 \\ -1 & 1 \end{bmatrix} \]

Penyelesaian Analitis:

Langkah 1: Identifikasi Nilai Singular dari Eigenvalue $X^T X$

Dari Contoh 19.3, kita telah menghitung $X^T X = \begin{bmatrix} 6 & 3 \\ 3 & 6 \end{bmatrix}$ dengan nilai eigen $9$ dan $3$. Oleh karena itu:

\[ \sigma_1 = \sqrt{9} = 3, \qquad \sigma_2 = \sqrt{3} \]

\[ \Sigma = \begin{bmatrix} 3 & 0 \\ 0 & \sqrt{3} \\ 0 & 0 \end{bmatrix}_{3 \times 2} \]

Langkah 2: Verifikasi Properti 2 — Hubungan $\lambda_i = \sigma_i^2 / (m-1)$

\[ \frac{\sigma_1^2}{m-1} = \frac{9}{2} = \frac{9}{2} = \lambda_1 \quad \checkmark, \qquad \frac{\sigma_2^2}{m-1} = \frac{3}{2} = \frac{3}{2} = \lambda_2 \quad \checkmark \]

Langkah 3: Konstruksi Matriks $V$ dan Verifikasi Properti 1

Vektor eigen $X^T X$ yang telah dinormalisasi pada Contoh 19.3 langsung membentuk kolom-kolom matriks $V$:

\[ V = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ 1/\sqrt{2} & -1/\sqrt{2} \end{bmatrix} \]

Matriks ini persis sama dengan matriks pembebanan PCA yang kita peroleh via diagonalisasi kovarians pada Contoh 19.3 $\checkmark$.

Langkah 4: Konstruksi Matriks $U$ via Rumus $\mathbf{u}_i = \frac{1}{\sigma_i} X \mathbf{v}_i$

\[ \mathbf{u}_1 = \frac{1}{3}\,X\,\mathbf{v}_1 = \frac{1}{3}\begin{bmatrix} 2 & 1 \\ -1 & -2 \\ -1 & 1 \end{bmatrix}\begin{bmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix} = \frac{1}{3}\begin{bmatrix} 3/\sqrt{2} \\ -3/\sqrt{2} \\ 0 \end{bmatrix} = \begin{bmatrix} 1/\sqrt{2} \\ -1/\sqrt{2} \\ 0 \end{bmatrix} \]

\[ \mathbf{u}_2 = \frac{1}{\sqrt{3}}\,X\,\mathbf{v}_2 = \frac{1}{\sqrt{3}}\begin{bmatrix} 2 & 1 \\ -1 & -2 \\ -1 & 1 \end{bmatrix}\begin{bmatrix} 1/\sqrt{2} \\ -1/\sqrt{2} \end{bmatrix} = \frac{1}{\sqrt{3}}\begin{bmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \\ -2/\sqrt{2} \end{bmatrix} = \begin{bmatrix} 1/\sqrt{6} \\ 1/\sqrt{6} \\ -2/\sqrt{6} \end{bmatrix} \]

Verifikasi orthonormalitas: $\mathbf{u}_1^T \mathbf{u}_1 = \frac{1}{2} + \frac{1}{2} + 0 = 1$ $\checkmark$; $\;\mathbf{u}_2^T \mathbf{u}_2 = \frac{1}{6} + \frac{1}{6} + \frac{4}{6} = 1$ $\checkmark$; $\;\mathbf{u}_1^T \mathbf{u}_2 = \frac{1}{\sqrt{12}} - \frac{1}{\sqrt{12}} + 0 = 0$ $\checkmark$.

Langkah 5: Verifikasi Properti 3 — Skor via $U\Sigma$ vs $XV$

\[ U\Sigma = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{6} \\ -1/\sqrt{2} & 1/\sqrt{6} \\ 0 & -2/\sqrt{6} \end{bmatrix}\begin{bmatrix} 3 & 0 \\ 0 & \sqrt{3} \end{bmatrix} = \begin{bmatrix} 3/\sqrt{2} & 1/\sqrt{2} \\ -3/\sqrt{2} & 1/\sqrt{2} \\ 0 & -2/\sqrt{2} \end{bmatrix} \]

Hasil ini persis identik dengan matriks skor $Z = XV$ yang dihitung pada Contoh 19.3 Langkah 4 $\checkmark$.

Kesimpulan: Seluruh tiga properti Teorema 19.2 terverifikasi secara eksplisit tanpa membentuk matriks kovarians $S$ sama sekali. SVD menghasilkan arah PC, nilai varians, dan matriks skor secara langsung dari matriks data $X$ — membuktikan ekuivalensi komputasional yang menjadi dasar implementasi PCA industri $\checkmark$.

19.5 Dasar-Dasar Klasifikasi Linear

Setelah dimensi data raksasa berhasil diringkas dan direduksi menjadi ruang koordinat baru yang lebih rendah (misalnya PC1 dan PC2) via PCA, tahapan analisis berikutnya di dalam sains data adalah melakukan **klasifikasi atau pengelompokan pola data** ke dalam rumpun kategori label yang berbeda secara objektif.

Definisi 19.3 — Batas Keputusan Linear (Linear Decision Boundary)

Dalam ruang fitur dua dimensi hasil reduksi, Klasifikasi Linear memisahkan dua rumpun kelompok data yang berbeda menggunakan instrumen garis lurus pembatas tunggal. Persamaan aljabar pembatas geometri tersebut dikunci melalui formulasi linear:

\[ \mathbf{w}^T \mathbf{x} + b = 0 \implies w_1 x_1 + w_2 x_2 + b = 0 \]

Di mana $\mathbf{w} = \begin{bmatrix} w_1 & w_2 \end{bmatrix}^T$ bertindak sebagai **vektor bobot (weight vector)** yang tegak lurus terhadap garis pembatas, dan $b$ merupakan konstanta bias penyimpangan lokasi.

Mekanisme penentuan keputusan klasifikasi dievaluasi secara instan oleh sistem komputer dengan memeriksa tanda aljabar dari hasil operasi pemetaan vektor input baru $\mathbf{x}^*$. Jika tanda mengevaluasi positif ($\mathbf{w}^T \mathbf{x}^* + b > 0$), maka sampel diklasifikasikan masuk ke dalam Rumpun Kelas $1$. Sebaliknya, jika tanda mengevaluasi negatif ($\mathbf{w}^T \mathbf{x}^* + b < 0$), maka sampel otomatis diklasifikasikan masuk ke dalam Rumpun Kelas $2$.

Contoh 19.5 — Klasifikasi Linear Dua Dimensi dengan Batas Keputusan

Sebuah model klasifikasi linear dua kelas di ruang fitur $(x_1, x_2)$ memiliki parameter:

\[ \mathbf{w} = \begin{bmatrix} 2 \\ -1 \end{bmatrix}, \qquad b = -1 \]

Persamaan batas keputusan: $2x_1 - x_2 - 1 = 0$, atau $x_2 = 2x_1 - 1$ (garis lurus dengan gradien $2$ dan intercept $-1$).

Data latih terklasifikasi sebagai berikut:

Kelas 1 (di bawah garis): $\mathbf{a}_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$, $\mathbf{a}_2 = \begin{bmatrix} 2 \\ 1 \end{bmatrix}$, $\mathbf{a}_3 = \begin{bmatrix} 3 \\ 2 \end{bmatrix}$
Kelas 2 (di atas garis): $\mathbf{b}_1 = \begin{bmatrix} 0 \\ 2 \end{bmatrix}$, $\mathbf{b}_2 = \begin{bmatrix} 1 \\ 3 \end{bmatrix}$, $\mathbf{b}_3 = \begin{bmatrix} 2 \\ 5 \end{bmatrix}$

Verifikasi konsistensi klasifikasi data latih, lalu klasifikasikan tiga sampel baru: $\mathbf{x}^* = \begin{bmatrix} 4 \\ 3 \end{bmatrix}$, $\mathbf{y}^* = \begin{bmatrix} 1 \\ 4 \end{bmatrix}$, $\mathbf{z}^* = \begin{bmatrix} 2 \\ 3 \end{bmatrix}$.

Penyelesaian Analitis:

Verifikasi Data Latih Kelas 1:

\[ \mathbf{w}^T \mathbf{a}_1 + b = 2(1) + (-1)(0) - 1 = 1 > 0 \;\checkmark \qquad \mathbf{w}^T \mathbf{a}_2 + b = 2(2) + (-1)(1) - 1 = 2 > 0 \;\checkmark \qquad \mathbf{w}^T \mathbf{a}_3 + b = 2(3) + (-1)(2) - 1 = 3 > 0 \;\checkmark \]

Verifikasi Data Latih Kelas 2:

\[ \mathbf{w}^T \mathbf{b}_1 + b = 2(0) + (-1)(2) - 1 = -3 < 0 \;\checkmark \qquad \mathbf{w}^T \mathbf{b}_2 + b = 2(1) + (-1)(3) - 1 = -2 < 0 \;\checkmark \qquad \mathbf{w}^T \mathbf{b}_3 + b = 2(2) + (-1)(5) - 1 = -2 < 0 \;\checkmark \]

Seluruh 6 sampel latih terklasifikasi dengan benar $\checkmark$.

Klasifikasi Sampel Baru:

\[ \mathbf{w}^T \mathbf{x}^* + b = 2(4) + (-1)(3) - 1 = 4 > 0 \implies \boxed{\text{Kelas 1}} \]

\[ \mathbf{w}^T \mathbf{y}^* + b = 2(1) + (-1)(4) - 1 = -3 < 0 \implies \boxed{\text{Kelas 2}} \]

\[ \mathbf{w}^T \mathbf{z}^* + b = 2(2) + (-1)(3) - 1 = 0 \implies \boxed{\text{Tepat pada batas keputusan (ambigu)}} \]

Interpretasi Geometri: Sampel $\mathbf{z}^* = \begin{bmatrix} 2 \\ 3 \end{bmatrix}^T$ terletak persis pada garis $x_2 = 2(2) - 1 = 3$, sehingga tidak dapat diklasifikasikan secara tegas. Dalam praktik machine learning, kasus ambiguitas batas ini diatasi oleh algoritma seperti Support Vector Machine (SVM) yang memaksimalkan margin jarak antara batas keputusan dan sampel terdekat dari kedua kelas $\checkmark$.

19.6 Reduksi Dimensi Manifold & Visualisasi

Meskipun PCA sangat perkasa untuk mereduksi dimensi data, algoritma ini memuat batasan kaku: ia berasumsi bahwa struktur sebaran data melengkung secara linear di dalam ruang dimensi tinggi. Dalam praktik analisis data riil, jalinan interaksi variabel sering kali membentuk struktur permukaan non-linear yang kompleks, disebut sebagai manifold.

Untuk memvisualisasikan data non-linear tersebut ke dalam grafik dua dimensi tanpa merusak kedekatan topologi antar-titik sampel asli, ilmuwan data menggunakan teknik non-linear tingkat lanjut seperti t-Distributed Stochastic Neighbor Embedding (t-SNE) atau Uniform Manifold Approximation and Projection (UMAP). Namun, aljabar linear tetap bertindak sebagai motor penggerak prapemrosesan awal, di mana PCA hampir selalu dieksekusi terlebih dahulu untuk memotong komponen derau data sebelum algoritma manifold non-linear mengambil alih proses visualisasi final.

Perspektif Aljabar Bab Ini

Bab 19 membawa seluruh abstraksi teoritis aljabar linear terapan langsung ke garda terdepan industri sains data dan machine learning modern. Kita membuktikan bahwa gabungan dari sifat matriks simetris, dekomposisi nilai singular, dan visualisasi geometri mampu menjinakkan kerumitan big-data secara spektakuler.

Melalui dekonstruksi regresi ridge (Contoh 19.1 dan 19.2), kita melihat bagaimana penyisipan parameter penalti $\lambda$ mampu menyelamatkan matriks sakit akibat multikolinearitas memanfaatkan filter redaman SVD — bahkan ketika matriks $A^T A$ sepenuhnya singular dan OLS gagal total. Selanjutnya, algoritma PCA membongkar rahasia bahwa ledakan dimensi variabel sejati dapat diringkas secara cerdas cukup dengan memutar sudut pandang ruang koordinat sepanjang sumbu eigen varians terbesar (Contoh 19.3). Pembuktian ekuivalensi mutlak antara SVD dengan diagonalisasi matriks kovarians pada Contoh 19.4 menegaskan keagungan materi Bab 16 sebagai fondasi komputasi industri tercepat dan paling stabil secara numerik. Terakhir, Contoh 19.5 mendemonstrasikan mekanisme klasifikasi linear yang merupakan tahapan analisis lanjutan tipikal setelah reduksi dimensi PCA — bersama-sama, kedua instrumen ini membentuk pipeline analisis data end-to-end. Pemetaan ini menyediakan batu pijakan analitis terakhir yang sempurna sebelum kita melompat menuju modul penutup rangkaian kurikulum buku ini pada Bab 20 (Sinyal & Metode Numerik).

Latihan Evaluasi Akhir Bab 19

Sebuah matriks data yang menderita penyakit multikolinearitas menghasilkan nilai singular terkecil sebesar $\sigma_2 = 0{,}02$. Jika program komputer menerapkan metode Regresi Ridge (regularisasi Tikhonov) dengan parameter penalti sebesar $\lambda = 0{,}04$, hitunglah nilai dari faktor rasio filter damping ridge ($f_2$) yang bersesuaian memanfaatkan rumusan filter ridge pada Bagian 19.1.
Misalkan sebuah eksperimen merekam dua buah variabel fitur dari 3 sampel data riil. Pasca-tahapan prapemrosesan pemusatan rata-rata (data centering) selesai dieksekusi, diperoleh matriks data tersenter berwujud:
\[ X = \begin{bmatrix} 2 & 1 \\ -1 & -2 \\ -1 & 1 \end{bmatrix} \]
Konstruksikan susunan entri Matriks Kovarians Sampel ($S$) berukuran $2 \times 2$ yang bersesuaian secara presisi memanfaatkan rumus Definisi 19.2 (ingat pembagi faktor koreksi Bessel statistika $m-1$).
Tinjau kembali matriks kovarians sampel $S$ hasil perhitungan dari soal nomor 2.
- (a) Hitunglah seluruh nilai eigen ($\lambda_1$ dan $\lambda_2$) yang dimiliki oleh matriks simetris tersebut.
- (b) Tentukan nilai kuantitas varians total data asli, kemudian hitunglah nilai Proporsi Penyerapan Informasi jika kita memutuskan hanya mengambil satu buah Komponen Utama pertama saja (PC1).
Sebuah matriks data tersenter $X$ berukuran $3 \times 2$ dari soal nomor 2 dievaluasi secara langsung memanfaatkan dekomposisi SVD, menghasilkan matriks right singular vectors sebesar:
\[ V = \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\[4pt] \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix} \]
Manfaatkan rumusan Teorema 19.2 untuk mengonstruksi matriks koordinat baru (score matrix $Z$) berukuran $3 \times 2$ hasil proyeksi linear PCA secara instan tanpa membentuk matriks kovarians.
Soal Pemikiran Analitis Batas Keputusan: Sebuah model Klasifikasi Linear dua dimensi memiliki vektor bobot sebesar $\mathbf{w} = \begin{bmatrix} 2 & -1 \end{bmatrix}^T$ dan nilai konstanta bias $b = -3$. Jika sebuah sampel pengujian data baru terproyeksi menempati koordinat $\mathbf{x}^* = \begin{bmatrix} 2 & 2 \end{bmatrix}^T$, jalankan mekanisme pengujian tanda sesuai aturan Bagian 19.5 untuk menentukan ke dalam Rumpun Kelas mana sampel baru tersebut wajib dikelompokkan secara objektif oleh sistem cerdas.
Soal Komputasi Ridge pada Matriks Sakit: Tinjau kembali matriks singular pada Contoh 19.2:
\[ A = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 3 \\ 1 \end{bmatrix} \]
- (a) Tunjukkan bahwa himpunan solusi OLS (semua $\hat{\mathbf{x}}$ yang memenuhi $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$) memenuhi persamaan linear $\hat{x}_1 + \hat{x}_2 = 2$.
- (b) Hitung solusi ridge $\hat{\mathbf{x}}_{\text{ridge}}$ untuk $\lambda = 1$.
- (c) Bandingkan solusi ridge Anda dengan hasil Contoh 19.2 ($\mathbf{b} = \begin{bmatrix} 2 \\ 2 \end{bmatrix}^T$, $\lambda = 1$ menghasilkan $\hat{\mathbf{x}} = \begin{bmatrix} 0{,}8 & 0{,}8 \end{bmatrix}^T$). Mengapa perubahan vektor $\mathbf{b}$ dari $\begin{bmatrix} 2 \\ 2 \end{bmatrix}^T$ menjadi $\begin{bmatrix} 3 \\ 1 \end{bmatrix}^T$ (jumlah komponen tetap sama: $2+2=4$, $3+1=4$) menghasilkan solusi ridge yang identik?

Bab sebelumnya

Rantai Markov & Graf

Bab berikutnya

Sinyal & Metode Numerik