機器學習之特徵選擇和降維的理解

在機器學習中，特徵選擇和降維感受好像差很少，維度都下降了，今天和其餘同窗交流學習才知道其實否則，區別很大。

 

通常狀況下，咱們不會使用原始數據直接去進行訓練，由於原始數據的特徵明顯，信息豐富，咱們訓練後的效果對於訓練集很是好，而對於測試集來講就不好了。這就是過擬合問題。

當咱們進行特徵提取後，維度依然不減，爲了解決過擬合問題，就使用降維（經常使用PCA）或特徵選擇。

對於特徵選擇，就是從衆多個特徵中選擇部分特徵做爲訓練集的特徵，拋棄剩餘部分的特徵，這樣維度就減小了，可是選中的這部分特徵就是原始數據中的特徵值。

對於降維，降維與特徵選擇相比最主要的區別就是降維會發生特徵數據值的變化，它是一個高維到低維的映射。

特徵選擇和降維都是爲了解決過擬合問題。