哈爾濱工業大學計算機學院-模式識別-課程總結（五）-成分分析

1. 成分分析

經常使用的成分分析有PCA和FDA，本章主要介紹主成分分析PCA，對於FDA，只是簡要介紹其主要數學思想。
進行成分分析的目的是對數據集特徵進行降維，降維的好處有：

• 減小計算量

• 提升泛化能力：減小模型的參數數量。每每數據特徵維度越高，模型越容易過擬合。

  融入核函數的SVM，雖然是在高維特徵空間下學習分類界面，可是因爲SVM的VC維受分類界面與樣本控制，所以不會增大其VC維，也就不會下降模型的泛化能力。

2. 主成分分析PCA

• PCA：一種最經常使用的線性成分分析方法。
• PCA的主要思想：尋找到數據的主軸方向，由主軸構成一個新的座標系（維數能夠比原維數低），而後數據由原座標系向新的座標系投影。

• PCA的其它名稱：離散K-L變換，Hotelling變換。

  PCA從儘可能減小信息損失的角度實現降維。

2.1 PCA座標變換說明

• 座標變換過程：
  \[\begin{array} { c } { \mathbf { x } = \mathbf { \mu } + \mathbf { x } ^ { \prime } } \\ { \mathbf { x } = \boldsymbol { \mu } + \sum _ { i = 1 } ^ { d } a _ { i } \mathbf { e } _ { i } } \\ { \hat { \mathbf { x } } = \mathbf { \mu } + \sum _ { i = 1 } ^ { d ^ { \prime } } a _ { i } \mathbf { e } _ { i } } \end{array}\]
  

• PCA的優化問題: \(\min _ { \mathbf { e } _ { 1 } , \cdots , \mathbf { e } _ { d } } J \left( \mathbf { e } _ { 1 } , \cdots , \mathbf { e } _ { d } \right) = \frac { 1 } { n } \sum _ { k = 1 } ^ { n } \left\| \mathbf { x } _ { k } - \hat { \mathbf { x } } _ { k } \right\| ^ { 2 }\)

  如圖所示，座標A降維到新的座標系下紅色虛線指向的一維座標。（選擇\(e_1\)做爲新座標系的基向量）

2.2 PCA算法

• PCA算法的過程（這裏只介紹結果，沒有數學證實過程）：
  1. 利用訓練樣本集合計算樣本的均值\(\mu\)和協方差矩陣\(\Sigma\).
  2. 計算\(\Sigma\)的特徵值，並由大到小排序。
  3. 選擇前\(d^′%個特徵值對應的特徵矢量做成一個變換矩陣\)E=[e_1, e_2, …, e_(d^′ )]$。
  4. 訓練和識別時，每個輸入的\(d\)維特徵矢量\(x\)能夠轉換爲\(d^′\)維的新特徵矢量\(y\)：
     \[\mathbf { y } = \mathbf { E } ^ { t } ( \mathbf { x } - \mathbf { \mu } )\]

2.3 PCA算法特色

1. 正交性：因爲\(\Sigma\)是實對稱陣，所以特徵矢量是正交的。
2. 不相關性：將數據向新的座標軸投影以後，特徵之間是不相關的。
3. 特徵值：描述了變換後各維特徵的重要性，特徵值爲0的各維特徵爲冗餘特徵，能夠去掉。

3. 基於Fisher準則的線性判別分析FDA

• PCA是典型的無監督算法，可是咱們降維的目的每每是爲了後續步驟的進一步分類。PCA由於其無監督的特色，將全部的樣本做爲一個總體對待，尋找一個平方偏差最小意義下的最優線性映射，而沒有考慮樣本的類別屬性。所以在降維的過程當中，儘管是沿着信息損失最少的方向，但也有可能就會把類別信息丟失。
• 在下圖的例子中，二維數據若是沿着\(e_1\)特徵方向進行降維，會徹底丟失類別信息。
  

• 而FDA則是在可分性最大意義下的最優線性映射，充分保留了樣本的類別可分性信息。

  3.1 FDA可視化

• 三類問題的FDA可視化：
  

  3.2 FDA算法特色

1. 非正交：經FDA變換後，新的座標系不是一個正交座標系。
2. 特徵維數：新的座標維數最多爲\(c-1\)，\(c\)爲類別數。