降維原理篇之手推PCA（主成分分析）和LDA（線性判別分析）公式

      PCA和LDA求解過程雖然有着很大的相似性，但對應的原理卻有所區別： PCA選擇的是投影后數據方差最大的方向。由於它是無監督的，因此PCA假設方差越大，信息量越多，用主成分來表示原始數據可以去除冗餘的維度，達到降維。而LDA選擇的是投影后類內方差小、類間方差大的方向。其用到了類別標籤信息，爲了找到數據中具有判別性的維度，使得原始數據在這些方向上投影后，不同類別儘可能區分開。

>>阅读原文<<