深刻理解PCA與SVD的關係

先簡單回顧下主成分析PCA(principle component analysis)與奇異值分解SVD(singular value decomposition)。

1、主成分析PCA

一、所解決問題

二、所依賴的原則

根據降維並減少信息損失的目標，能夠得出如下兩個原則

• 降維後的各個維度之間相互獨立，即去除降維以前樣本x中各個維度之間的相關性。
• 最大程度保持降維後的每一個維度數據的多樣性，即最大化每一個維度內的方差

三、問題求解方法

式1就是協方差矩陣C的特徵值分解，變換矩陣P便是矩陣C的前k個特徵向量按行組成的矩陣。因此，PCA的求解步驟爲：

1. 求X均值
2. 將X減去均值
3. 計算協方差矩陣C
4. 對協方差矩陣C特徵值分解
5. 從大到小排列C的特徵值
6. 取前k個特徵值對應的特徵向量按行組成矩陣即爲變換矩陣P

這裏的核心問題是協方差矩陣C的特徵值分解。

2、奇異值分解SVD

一、所解決問題

二、問題求解方法

3、PCA與SVD的關係