PCA降維的原理、方法、以及python實現。

時間 2019-11-13

標籤 pca 原理方法以及 python 實現欄目 Python 简体版

原文原文鏈接

PCA(主成分分析法)python

1. PCA(最大化方差定義或者最小化投影偏差定義)是一種無監督算法，也就是咱們不須要標籤也能對數據作降維，這就使得其應用範圍更加普遍了。那麼PCA的核心思想是什麼呢？算法

例如D維變量構成的數據集，PCA的目標是將數據投影到維度爲K的子空間中，要求K<D且最大化投影數據的方差。這裏的K值既能夠指定，也能夠利用主成分的信息來肯定。
PCA其實就是方差與協方差的運用。
降維的優化目標：將一組 N 維向量降爲 K 維，其目標是選擇 K 個單位正交基，使得原始數據變換到這組基上後，各變量兩兩間協方差爲 0，而變量方差則儘量大（在正交的約束下，取最大的 K 個方差）。

2. PCA存在的問題：函數

原來的數據中好比包括了年齡，性別，身高等指標降維後的數據既然維度變小了，那麼每一維都是什麼含義呢？這個就很難解釋了，因此PCA本質來講是沒法解釋降維後的數據的物理含義，換句話說就是降維完啦計算機能更好的認識這些數據，可是我們就很難理解了。
PCA對數據有兩個假設：數據必須是連續數值型；數據中沒有缺失值。
過擬合：PCA 保留了主要信息，但這個主要信息只是針對訓練集的，並且這個主要信息未必是重要信息。有可能捨棄了一些看似無用的信息，可是這些看似無用的信息剛好是重要信息，只是在訓練集上沒有很大的表現，因此 PCA 也可能加重了過擬合；

3. PCA的做用：優化

緩解維度災難：PCA 算法經過捨去一部分信息以後能使得樣本的採樣密度增大（由於維數下降了），這是緩解維度災難的重要手段；
降噪：當數據受到噪聲影響時，最小特徵值對應的特徵向量每每與噪聲有關，將它們捨棄能在必定程度上起到降噪的效果；
特徵獨立：PCA 不只將數據壓縮到低維，它也使得降維以後的數據各特徵相互獨立；

4. 方差的做用：我們能夠想象一下，若是一羣人都堆疊在一塊兒，咱們想區分他們是否是比較困難，可是若是這羣人站在馬路兩側，咱們就能夠很清晰的判斷出來應該這是兩夥人。因此基於方差咱們能夠作的就是讓方差來去判斷我們數據的擁擠程度，在這裏咱們認爲方差大的應該辨識度更高一些，由於分的比較開（一條馬路給隔開啦）。方差能夠度量數值型數據的離散程度，數據如果想要區分開來，他那他們的離散程度就須要比較大，也就是方差比較大。spa

5. 協方差的做用：code

6. 計算過程：(下圖爲採用特徵值分解的計算過程，若採用SVM算法，則無需計算協方差矩陣！)component

爲何咱們須要協方差矩陣 $C=\frac{1}{m}XX^T$ ？咱們最主要的目的是但願能把方差和協方差統一到一個矩陣裏，方便後面的計算。orm

　　假設咱們只有 a 和 b 兩個變量，那麼咱們將它們按行組成矩陣 X：(與matlab不一樣的是，在numpy中每一列表示每一個樣本的數據，每一行表示一個變量。好比矩陣X，該矩陣表示的意義爲：有m個樣本點，每一個樣本點由兩個變量組成！）
blog

$X=\begin{pmatrix} a_1 & a_2 & \cdots & a_m \\ b_1 & b_2 & \cdots & b_m \end{pmatrix} \\$

　　而後：排序

$\frac{1}{m}XX^\mathsf{T}= \begin{pmatrix} \frac{1}{m}\sum_{i=1}^m{a_i^2} & \frac{1}{m}\sum_{i=1}^m{a_ib_i} \\ \frac{1}{m}\sum_{i=1}^m{a_ib_i} & \frac{1}{m}\sum_{i=1}^m{b_i^2} \end{pmatrix} = \begin{pmatrix} Cov(a,a) & Cov(a,b) \\ Cov(b,a) & Cov(b,b) \end{pmatrix} \\$

　　咱們能夠看到這個矩陣對角線上的分別是兩個變量的方差，而其它元素是 a 和 b 的協方差。二者被統一到了一個矩陣裏。

7. 特徵值與特徵向量的計算方法-----特徵值分解與奇異值分解法(SVD)(有關特徵值與奇異值可見個人博文！)

(1) 特徵值分解的求解過程較爲簡單，如下圖爲例子

(2) 特徵值分解存在的缺點：

特徵值分解中要求協方差矩陣A必須是方陣，即規模必須爲n*n。
後期計算最小投影維度K時，計算量過大。
當樣本維度很高時，協方差矩陣計算太慢；

(3) SVD算法(奇異值分解)的提出克服這些缺點，目前幾乎全部封裝好的PCA算法內部採用的都是SVD算法進行特徵值、特徵向量以及K值的求解。

奇異值(每一個矩陣都有)：設A是一個mXn矩陣，稱正半定矩陣A‘A的特徵值的非負平方根爲矩陣A的奇異值，其中A‘表示矩陣A的共扼轉置矩陣(實數矩陣的共軛轉置矩陣就是轉置矩陣，複數矩陣的共軛轉置矩陣就是上面所說的行列互換後每一個元素取共軛)
只有方陣纔有特徵值。

(4) SVD算法的計算過程：(numpy中已經將SVD進行了封裝，因此只須要調用便可)

能夠發現，採用SVD算法無需計算協方差矩陣，這樣在數據量很是大的時候能夠下降消耗。

A爲數據矩陣，大小爲M*N(2*5)
U是一個由與數據點之間具備最小投影偏差的方向向量所構成的矩陣，大小爲M*M(2*2),假如想要將數據由M維降至K維，只須要從矩陣U中選擇前K個列向量，獲得一個M*K的矩陣，記爲Ureduce。按照下面的公式便可計算降維後的新數據：降維後的數據矩陣G = A.T * Ureduce.
sigma爲一個列向量，其包含的值爲矩陣A的奇異值。
VT是一個大小爲N*N的矩陣，具體意義咱們無需瞭解。

利用python實現PCA降維(採用SVD的方法)：

 1 from numpy import linalg as la
 2 import numpy as np
 3 #1.矩陣A每一個變量的均值都爲0，因此不用進行「去平均值」處理。假若矩陣A的每一個變量的均值不爲0，則首先須要對數據進行預處理
 4 #  才能夠進行協方差矩陣的求解。
 5 #2.與matlab不一樣的是，在numpy中每一列表示每一個樣本的數據，每一行表示一個變量。
 6 #  好比矩陣A，該矩陣表示的意義爲：有5個樣本點，每一個樣本點由兩個變量組成！
 7 #3.np.mat()函數中矩陣的乘積可使用 * 或 .dot()函數
 8 #  array()函數中矩陣的乘積只能使用 .dot()函數。而星號乘（*）則表示矩陣對應位置元素相乘，與numpy.multiply()函數結果相同。
 9 A = np.mat([[-1, -1, 0, 2, 0], [-2, 0, 0, 1, 1]])
10 # A = np.mat([[-1, -2], [-1, 0], [0, 0], [2, 1], [0, 1]]).T
11 U, sigma, VT = la.svd(A)
12 print("U:")
13 print(U)
14 print("sigma:")
15 print(sigma)
16 print("VT:")
17 print(VT)
18 print("-"*30)
19 print("降維前的數據：")
20 print(A.T)
21 print("降維後的數據:")
22 print(A.T * U[:,0])

運行結果圖：與上文采用特徵值分解所獲得的降維結果一致！

8.PCA的重建

衆所周知，PCA能夠將高維數據壓縮爲較少維度的數據，因爲維度有所減小，因此PCA屬於有損壓縮，也就是，壓縮後的數據沒有保持原來數據的所有信息，根據壓縮數據沒法重建本來的高維數據，可是能夠看做本來高維數據的一種近似。

還原的近似數據矩陣Q = 降維後的矩陣G * Ureduce.T

9.採用sklearn封裝好的PCA實現數據降維(採用的是SVD算法)：

 1 import numpy as np
 2 from sklearn.decomposition import PCA
 3 # 利用sklearn進行PCA降維處理的時候，數據矩陣A的行數表示數據的個數，數據矩陣A的列數表示每條數據的維度。這與numpy中是相反的！
 4 # A = np.mat([[-1, -1, 0, 2, 0], [-2, 0, 0, 1, 1]]).T
 5 A = np.mat([[-1, -2], [-1, 0], [0, 0], [2, 1], [0, 1]])
 6 pca = PCA(n_components = 1)
 7 pca.fit(A)
 8 # 投影后的特徵維度的方差比例
 9 print(pca.explained_variance_ratio_)
10 # 投影后的特徵維度的方差
11 print(pca.explained_variance_)
12 print(pca.transform(A))