PCA最小平方偏差理論推導

PCA最小平方偏差理論推導

PCA求解實際上是尋找最佳投影方向，即多個方向的標準正交基構成一個超平面。

理論思想：在高維空間中，咱們其實是要找到一個d維超平面，使得數據點到這個超平面的距離平方和最小

假設\(x_k\)表示p維空間的k個點，\(z_k\)表示\(x_k\)在超平面D上的投影向量，\(W = {w_1,w_2,...,w_d}\)爲D維空間的標準正交基，即PCA最小平方偏差理論轉換爲以下優化問題$$z_k = \sum_{i=1}^d (w_i^T x_k)w_i---(1)$$

\[argmin \sum_{i=1}^k||x_k - z_k||_2^2 \]

\[s.t. w_i^Tw_j = p(當i==j時p=1,不然p=0) \]

注：\(w_i^Tx_k\)爲x_k在w_i基向量的投影長度，\(w_i^Tx_kw_i\)爲w_i基向量的座標值

求解：

\(L = (x_k - z_k)^T(x_k-z_k)\)

\(L= x_k^Tx_k - x_k^Tz_k - z_k^Tx_k + z_k^Tz_k\)

因爲向量內積性質\(x_k^Tz_k = z_k^Tx_k\)

\(L = x_k^Tx_k - 2x_k^Tz_k + z_k^Tz_k\)

將(1)帶入得$$x_k^Tz_k = \sum_{i=1}^dw_iTx_kx_k^Tw_i$$

\[z_k^Tz_k = \sum_{i=1}^d\sum_{j=1}^d(w_i^Tx_kw_i)^T(w_j^Tx_kw_j) \]

根據約束條件s.t.得$$z_k^Tz_k = \sum_{i=1}^dw_iTx_k^Tx_kw_i$$

\[L =x_k^Tx_k - \sum_{i=1}^dw_i^Tx_kx_k^Tw_i \]

根據奇異值分解$$\sum_{i=1}^dw_iTx_kx_k^Tw_i = tr(W^Tx_kTx_kW)$$

\[L =argmin\sum_{i=1}^kx_k^Tx_k - tr(W^Tx_k^Tx_kW) = argmin\sum_{i=1}^k- tr(W^Tx_k^Tx_kW) + C \]

等價於帶約束得優化問題：$$argmaxtr(W^TXXTW)$$

\[s.t. W^TW = I \]

最佳超平面W與最大方差法求解的最佳投影方向一致，即協方差矩陣的最大特徵值所對應的特徵向量，差異僅是協方差矩陣\(\xi\)的一個倍數

定理

\[argmin\phi(W,Z|X) = tr((X-W^TZ)^T(X-W^TZ)) = ||X-W^TZ||_F^2 \]

\[s.t.W^TW=I_q \]

注：X爲(n,p),Z爲(n,q),q < p,w爲(p,q)

該定理表達的意思也就是平方差理論，將降維後的矩陣經過W^T投影回去，再與X計算最小平方差，值越小說明信息損失越少

\(\phi\)目標函數最小時，W爲X的前q個特徵向量矩陣且\(Z=W^TX\)

以上優化能夠經過拉格朗日對偶問題求得，最終也會獲得$$argmaxtr(W^TXXTW)$$

\[s.t. W^TW = I \]