機器學習回顧篇（14）：主成分分析法（PCA）

 

1 引言¶

在展開數據分析工做時，咱們常常會面臨兩種困境，一種是原始數據中特徵屬性太少，「巧婦難爲無米之炊」，很難挖掘出潛在的規律，對於這種狀況，咱們只能在收集這一環節上多下功夫；另外一種困境恰好相反，那就是特徵屬性太多，這真是一種幸福得煩惱，由於特徵屬性多就意味着信息量大，可挖掘的價值就大，但另外一方面也可能形成過擬合和計算量的急劇增大，對於這一問題，最好的方法就是在預處理階段對數據進行降維。
說到降維，很天然得就想到主成分分析法(Principal Component Analysis，PCA)，由於這一方法在衆多降維方法中獨領風騷，應用的最爲普遍。主成分分析法是一種無監督學習方法，它的主要觀點是認爲數據的特徵屬性之間存在線性相關，致使數據間的信息冗餘，經過正交變換把線性相關的特徵用較少線性無關的數據來表示，以達到降維的目的。
本文接下來的內容就對PCA方法進行思想和運算過程等方面由淺入深地展開介紹。

2 算法原理¶

2.1 最大投影方差法¶

爲方便描述，咱們先以二維平面上的數據集爲例。以下圖所示，有左下至右上45度角斜向上分佈。如今，咱們要對數據集進行降維，由於是二維數據，因此也只能降到一維，只須要找到一個條合適的座標軸將數據投影過去便可。最簡單地，咱們能夠將數據直接投影到已有的兩個座標軸上，如如圖（a）（b）所示，這種方法至關於直接捨棄另外一特徵維度，將直接致使對另外一特徵維度信息的徹底丟失，每每並不可取。降維過程雖然不可避省得會形成信息丟失，但咱們卻也但願最大化地保留數據的原始信息。既然往已有的座標軸上投影不可取，那麼，咱們構造新的座標系，如圖（c）所示，咱們沿左下至右上45度角斜向上構造出一條$y$軸，從直覺上判斷咱們也會以爲將數據投影到這個$y$軸比直接頭引導$x1$軸、$x2$軸更加合適，由於這個時候$y$軸與數據分佈最「契合」，數據的投影在$y$軸上最爲分散，或者說數據在$y$軸上的投影的方差最大。這就是最大投影方差法，經過這種方法，在投影后的空間中數據的方差最大，才能最大化數據的差別性，所以能夠保留更多的原始數據信息。

咱們從數學角度上分析一下爲何方差最大是得到的新座標系纔是最好的。
以下圖2所示，假設咱們點$A$、$B$、$C$爲圖1中數據集零均值化化後的樣本點，點$A'$、$B'$、$C'$分別是點$A$、$B$、$C$在旋轉後的$X1'$軸上的投影，$O$爲座標原點。$|AA'|$表示原座標點$A$到$X1'$軸上投影$A'$的距離，又被稱爲投影偏差。顯然，投影偏差越小，$A$與$A'$類似度越大，那麼投影后的數據就保留了更多的信息，因此投影偏差越小越好，等價地，對各樣本點投影偏差的平方和$|AA'{|^2} + |BB'{|^2} + |CC'{|^2}$也越大越好。由於斜邊的長度$|OA|$、$|OB|$、$|OC|$是固定的，結合勾股定理可知，$|AA'{|^2} + |BB'{|^2} + |CC'{|^2} + |OA'{|^2} + |OB'{|^2} + |OC'{|^2}$的大小也是保持不變的，這就意味着，投影偏差越小，$|OA'{|^2} + |OB'{|^2} + |OC'{|^2}$就越大。其實，$|OA'{|^2} + |OB'{|^2} + |OC'{|^2}$就是樣本方差和，因此說，方差最大是得到的新座標系最好。

如今，咱們知道了怎麼肯定最優的方向進行投影的問題，不過還有問題沒有解決：
（1）上面的講述都是以二維數據爲例子，對於二維數據的降維，固然只須要找到一個維度或者說一條座標軸進行投影便可，若是是更高維度的數據進行降維時，就不可能都降爲一維，這時候可就須要尋找到多條座標軸來來投影，若是尋找第一個維度時，使用方差最大化投影固然沒問題，可是，若是在尋找第二個維度時，仍然堅持方差最大化，那麼第二個維度的座標軸就回與第一個維度的座標作基本重合，這樣投影后的數據相關性極大，是沒有意義的。那麼，對於高維度數據降維，要如何肯定多個維度座標軸呢？
（2）找到了新的座標系後，怎麼將原始數據映射到新的座標系中呢？
帶着這兩個問題，咱們繼續往下分析。

2.2 協方差矩陣¶

PCA算法降維的主要經過是下降原始數據中的冗餘信息來實現的，這裏的冗餘信息指的是數據集中不一樣特徵屬性間的相關性，例如工做時長、學歷、薪資待遇這三個屬性，這確實是三個不一樣的特徵屬性，但不管是工做時長仍是學歷都跟薪資待遇之間存在必定影響，在大多數狀況下，工做時長越長、學歷越高薪資待遇就越高。因此，工做時長、學歷與薪資待遇是存在相關性的，PCA算法目標就是消除這些相關性達到降維的目的。
對於相關性，在數學上一般用協方差來進行描述。假設數據集$X$是包含$n$個樣本，$m$個特徵屬性，$x_i$和$x_j$分別是數據集$X$中的兩個不一樣的特徵屬性，那麼$x_i$和$x_j$之間的協方差爲：
$$Cov({x_i},{x_j}) = \frac{1}{{n - 1}} \cdot \sum\nolimits_{k = 1}^n {({x_{ik}} - {{\bar x}_i})({x_{jk}} - {{\bar x}_j})} $$ 式中，${{x_{ik}}}$，${{x_{jk}}}$表示$x_i$、$x_j$的第$k$個樣本在兩個特徵屬性中的取值，${{\bar x}_i}$、${{\bar x}_j}$分別是$x_i$,$x_j$的均值。
協方差取值區間爲$[-1,1]$，協方差絕對值越大兩特徵屬性相關性越大，當協方差小於0時，表示兩個特徵屬性呈負相關，當協方差大於0時，表示兩個特徵屬性呈正相關，當協方差爲0時，表示量特徵屬性不相關，在線性代數上，這兩個特徵屬性時正交的。
特殊地，$Cov({x_i},{x_i})$表示特徵屬性$x_i$的方差。
經過上一小節，咱們知道，降維時選擇第一個投影方向是經過方差最大化進行選取，選取後續爲投影方向時，咱們就不可能再讓降維後的各維度數據間還存在相關性，因此，在選取後續維度時須要在知足與全部已選取投影方向正交，即協方差爲0的前提下，選取方差最大的方向。總結一降低維的過程，假如咱們須要從$m$維降到$k$維，首先要在全部可能方向中選取一個投影方差最大的方向做爲第一個維度，而後在全部與第一個維度正交的方向中選取一個方差最大的方向做爲第二個維度方向，重複這一步驟，直到選取了$k$個維度。
能夠看出，在整個降維過程當中，既要計算方差，也要計算特徵屬性兩兩之間的協方差，有沒有什麼方法將二者統一到一塊兒呢？有，協方差矩陣。 協方差矩陣中每個元素對應兩個特徵屬性間的協方差，例如第$i$行第$j$列元素表示第$i$個特徵屬性與第$j$個特徵屬性間的協方差；協方差矩陣對角線上的元素，當$i=j$時，表示第$i$個特徵屬性的方差。數據集$X$的協方差矩陣表示爲：

仔細觀察協方差矩陣，能夠發現協方差矩陣是實對稱矩陣，實對稱矩陣恰好有一些很好的性質能夠被利用：
（1）實對稱矩陣必可對角化，且其類似對角矩陣的對角線元素爲$m$個特徵值
（2）實對稱矩陣的特徵值是實數，特徵向量是實向量
（3）實對稱矩陣的不一樣特徵值對應的特徵向量是正交的
請務必注意，這三個性質很重要，不理解不要緊，記住就好，接下來的內容都必須以這三個性質爲基礎。由於特徵值對應的特徵向量就是理想中想取得正確的座標軸的基，而特徵值就等於數據在投影以後的座標上的方差。因此有了協方差矩陣，接下來要作的，就是將協方差矩陣對角化，這個對角化的過程能夠理解爲是對來原座標軸的旋轉即尋找最佳投影座標軸的過程，經過對角化的過程可讓除對角元素外的全部元素爲零，也就是協方差爲零，各特徵屬性將將變得不相關。當協方差矩陣對角化以後，對角元素就是特徵值，也是各投影后座標軸上的方差，咱們選取最大的一個特徵值對應的特徵向量做爲基，對原始數據進行變換，就能夠用得到原始數據在新座標軸上的投影。
咱們大概描述一下這個座標變換的原理。在機器學習中，咱們喜歡用向量和矩陣來表示數據，由於向量和矩陣有不少很好的數學性質，能夠很方便的進行數學運算。以下圖3所示，從圖1所示數據集中取一點，假設座標爲（3,1），那麼咱們能夠表示爲以原點爲起點以點（3,1）爲終點的一個箭頭，這個箭頭在x1軸上投影爲3，在x2軸三的投影是1。咱們能夠這麼理解，有一個向量在兩條座標軸上的投影分別爲$x_1$，$x_2$，那麼該向量又能夠表示爲：$x_1 \cdot {(1,0)^T} + x_2 \cdot {(0,1)^T}$，這裏的(1,0)和(0,1)就是下圖黑色直角座標系的一組基。對於基，能夠粗淺的理解爲座標軸的基礎，有了基，座標纔有意義，在大多數狀況下，咱們都默認以(1,0)和(0,1)這對相互正交且模長爲1向量爲基。若是咱們對黑色直角座標系逆時針旋轉45就獲得了一個新的座標系，這個座標系的基爲$(\frac{1}{{\sqrt 2 }},\frac{1}{{\sqrt 2 }})$和$( - \frac{1}{{\sqrt 2 }},\frac{1}{{\sqrt 2 }})$，這類咱們不深刻討論這個基是怎麼得來的，反正在PCA方法中經過協方差對角化以後多的的特徵值對應特徵向量就是新座標系的基。有了新座標系的基，怎麼將原座標系的座標轉換的用新座標系表示呢？其實咱們只須要對新座標系的基與原座標系中的座標進行內積運算便可：將原座標與兩個基作內積運算，得到的兩個結果分別做爲新座標系的第一個座標和第二個座標，這個過程叫作基變換，咱們用矩陣運算來表示這個過程：

因此點$（3,1）$在新座標系中的座標爲$(\frac{4}{{\sqrt 2 }}, - \sqrt 2 )$。這種基變換的方式也適用於更加多維的狀況，由於兩個矩陣相乘本質就是一種線性變換，也能夠理解爲將遊標矩陣中的每一列列向量變換到左邊矩陣中每一行行行向量爲基座標是的空間中去。

總結來講，完成對角化以後，矩陣中對角線上元素就是特徵值，也是尋找到的衆多座標軸的投影方差，每次從中去全部特徵值中最大的一個，而後求對應的特徵向量，這個特徵向量就是對應的新座標軸的基，用這個基於原始數據作內積運算就能夠獲得原始數據在新座標軸上的投影，重複這個過程$k$次，就完成可降維。
將上文中全部內容囊括在一塊兒，那麼，主成分分析法就歸納爲如下5各步驟：
（1) 零平均值，在不少狀況下，爲了去除量綱的影響，最好直接標準化。
（2） 計算協方差矩陣。
（3） 協方差矩陣對角化，求特徵值。
（4） 對特徵值從大到小排序，選擇其中最大的$k$個，而後求其對應的k個特徵向量分別做爲行向量組成特徵向量矩陣P。
（5） 將k個特徵向量做爲新的座標系的基對原始數據進行變換。

3 總結¶

PCA算法是一種無監督學習方法，只須要對數據集自己的特徵屬性進行運算，消除相關性達到壓縮數據去噪降維的目的。 PCA算法的主要優勢有：
（1）僅僅須要以方差衡量信息量，不受數據集之外的因素影響。
（2）各主成分之間正交，可消除原始數據成分間的相互影響的因素。
（3）計算方法簡單，易於實現。
PCA算法的主要缺點有：
（1）主成分各個特徵維度的含義不在具備實際的物理意義，因此不如原始樣本特徵的解釋性強。
（2）方差小的非主成分也可能含有對樣本差別的重要信息，因降維丟棄可能對後續數據處理有影響。