主成分分析（PCA）原理詳解

PCA的原理就是將原來的樣本數據投影到一個新的空間中，至關於咱們在矩陣分析裏面學習的將一組矩陣映射到另外的座標系下。經過一個轉換座標，也能夠理解成把一組座標轉換到另一組座標系下，可是在新的座標系下，表示原來的本來不須要那麼多的變量，只須要原來樣本的最大的一個線性無關組的特徵值對應的空間的座標便可。

好比，原來的樣本是30*1000000的維數，就是說咱們有30個樣本，每一個樣本有1000000個特徵點，這個特徵點太多了，咱們須要對這些樣本的特徵點進行降維。那麼在降維的時候會計算一個原來樣本矩陣的協方差矩陣，這裏就是1000000*1000000，固然，這個矩陣太大了，計算的時候有其餘的方式進行處理，這裏只是講解基本的原理，而後經過這個1000000*1000000的協方差矩陣計算它的特徵值和特徵向量，最後得到具備最大特徵值的特徵向量構成轉換矩陣。好比咱們的前29個特徵值已經可以佔到全部特徵值的99%以上，那麼咱們只須要提取前29個特徵值對應的特徵向量便可。這樣就構成了一個1000000*29的轉換矩陣，而後用原來的樣本乘以這個轉換矩陣，就能夠獲得原來的樣本數據在新的特徵空間的對應的座標。30*1000000 * 1000000*29 = 30 *29， 這樣原來的訓練樣本每一個樣本的特徵值的個數就降到了29個。

參考文章連接：http://blog.jobbole.com/109015/

 

通常來講，PCA降維後的每一個樣本的特徵的維數，不會超過訓練樣本的個數，由於超出的特徵是沒有意義的。