機器學習——降維（主成分分析PCA、線性判別分析LDA、奇異值分解SVD、局部線性嵌入LLE）

###機器學習——降維（主成分分析PCA、線性判別分析LDA、奇異值分解SVD、局部線性嵌入LLE）

如下資料並不是本人原創，由於以爲石頭寫的好，因此才轉發備忘

(主成分分析（PCA）原理總結)[https://mp.weixin.qq.com/s/XuXK4inb9Yi-4ELCe_i0EA] 來源： 石頭 機器學習算法那些事 3月1日 主成分分析（Principal components analysis，如下簡稱PCA）是最經常使用的降維方法之一，在數據壓縮和消除冗餘方面具備普遍的應用，本文由淺入深的對其降維原理進行了詳細總結。

目錄

1.向量投影和矩陣投影的含義 2. 向量降維和矩陣降維的含義 3. 基向量選擇算法 4. 基向量個數的肯定 5. 中心化的做用 6. PCA算法流程 7. PCA算法總結

(線性判別分析（LDA）原理總結)[https://mp.weixin.qq.com/s/7H5-piL6ywHXgoxTXvJnNA] 來源： 石頭 機器學習算法那些事 3月1日 前言

線性判別分析（Linear Discriminant Analysis，如下簡稱LDA）是有監督的降維方法，在模式識別和機器學習領域中經常使用來降維。PCA是基於最大投影方差或最小投影距離的降維方法，LDA是基於最佳分類方案的降維方法，本文對其原理進行了詳細總結。

目錄

1. PCA與LDA降維原理對比
2. 二類LDA算法推導
3. 多類LDA算法推導
4. LDA算法流程
5. 正態性假設
6. LDA分類算法
7. LDA小結 (奇異值分解（SVD）原理總結)[https://mp.weixin.qq.com/s/ESl7TxxfuYzjscyfJWLisw] 來源： 石頭 機器學習算法那些事 3月1日 前言

奇異值分解（SVD）在降維，數據壓縮，推薦系統等有普遍的應用，任何矩陣均可以進行奇異值分解，本文經過正交變換不改變基向量間的夾角按部就班的推導SVD算法，以及用協方差含義去理解行降維和列降維，最後介紹了SVD的數據壓縮原理 。

目錄

1. 正交變換
2. 特徵值分解含義
3. 奇異值分解
4. 奇異值分解例子
5. 行降維和列降維
6. 數據壓縮
7. SVD總結

局部線性嵌入（LLE）原理總結 來源： 石頭 機器學習算法那些事 3月1日 相關文章推薦： 主成分分析（PCA）原理總結 奇異值分解（SVD）原理總結 scikit-learn中PCA的使用方法 LLE參考資料下載： 連接:  https://pan.baidu.com/s/1Ht01oCGpUjL7rCX5bAhnYg 提取碼: 62wq  LLE是一種非監督式的降維方法，與PCA降維方法相比，LLE降維後保持了初始樣本間的局部關係。PCA是基於投影的最大方差的線性投影，在介紹LLE原理以前，咱們首先用幾張圖看看PCA的降維效果： 目錄

1. LLE算法原理
2. LLE算法推導
3. LLE算法流程 4. K近鄰空間大於輸入數據的維數D的狀況分析
4. 小結

####視頻資料

(白板推導系列，數學原理了然於胸)[https://www.bilibili.com/video/av32709936/?p=3&t=291] (資料推薦系列)[https://www.bilibili.com/video/av31971102]