PCA

PCA本質上是一個有損的特徵壓縮過程，可是咱們指望損失的精度儘量地少，也就是但願壓縮的過程當中保留最多的原始信息。要達到這種目的，咱們但願降維（投影）後的數據點儘量地分散。

基於這種思想，咱們但願投影后的數據點儘量地分散。而這種分散程度在數學上能夠利用方差來表示。設降維後的特徵爲 A，也就是但願 $var(A)= \frac{1}{m}\sum_{i}^{m}({a}_{i}-{\mu}_{a} )^{2}$，而因爲在PCA降維前，通常已經作了特徵零均值化處理，爲了方便，記$var(A)= \frac{1}{m}\sum_{i}^{m}({a}_{i})^{2}$，一樣，爲了減小特徵的冗餘信息，咱們但願降維後的各特徵之間互不相關。而不相關性能夠用協方差來衡量。設降維後的兩個特徵爲A、B的協方差爲0。

因此問題就是對Y進行對角化，即方差最大而協方差爲0。運用到譜分解（特徵向量和特徵值）。