吳恩達機器學習：無監督學習 | k-means 與 PCA

西部世界 第二季恰好放到第七集，課程總結也恰好是第七次。咱們關於 監督學習 的課程已經告一段落，此次 Ng 將給咱們介紹兩個很經常使用的 無監督學習 算法。一個是用來將數據劃分到不一樣類別的 k-means 算法，一個是用來提取重要特徵並給特徵降維的 PCA 算法。

點擊 課程視頻 你就能不間斷地學習 Ng 的課程，關於課程做業的 Python 代碼已經放到了 Github 上，點擊 課程代碼 就能去 Github 查看（ 沒法訪問 Github 的話能夠點擊 Coding 查看 ），代碼中的錯誤和改進歡迎你們指出。

如下是 Ng 機器學習課程第七週的筆記。

聚類

咱們常常會給事物作分類，把特徵相近的東西歸爲一類。而 無監督學習 中的聚類正是想讓計算機來完成這個工做。用數學語言表達就是要把每一個特徵數據 分配到 簇 中。讓咱們看下課程做業中的聚類任務來有個直觀的感覺。（ 下圖是將數據分爲三個簇 ）

代價函數

假設要將數據分到 個 簇，選取的中心分別爲 。咱們的代價函數就是要將每一個特徵與被分配到的簇的中心之間的距離和最小化（ 直觀來講就是湊得近的分一塊兒 ）。

能夠看出 代價函數 一方面取決於 的分配，一方面取決於 簇 中心的位置。

k-means

下面咱們先來看下 k-means 的算法，而後來解釋它是如何優化 代價函數 的。

隨機選擇 個 簇 的中心 重複下面步驟直到收斂：

1. 對於每一個 ，計算 （ 距離第 個簇的中心最近，則 ）
2. 更新 （ 新 爲全部知足 的 的中心 ）

對於步驟 來講，咱們固定了 ，併爲每一個 選取了距離最近的 簇，這使得 代價函數 減少。對於步驟 ，咱們固定了 ，並將 移動到了各個分類的中心，這也使得 代價函數 減少。所以隨着不斷循環這個過程，咱們將獲得一個最優解（ 也多是局部最優 ）。

相關問題

k-means 算法挺好理解的，最後咱們來講說簇中心的初始化與 的選擇問題。對於簇中心的初始化，通常直接隨機選 個數據爲中心，選好比說 100 次並計算 代價函數 的值，選擇其中最小的那一次的結果。 對於 的選擇，一方面能夠運用 肘部法則，原理是 代價函數 一開始會隨着 的增大降低的很快，但過了某個值以後降低變緩，咱們選擇這個點的 值。另外一方面咱們能夠根據本身的業務需求來選擇 （ 業務就是須要分爲 個類的狀況 ）。

降維

在機器學習中，下降特徵的維度可以給咱們帶來不少好處。首先下降特徵的維度能夠提高學習的效率。其次降維可讓咱們的注意力集中在重要的特徵上。再有降維也能夠做爲一種數據壓縮的方法。這裏將要學習的降維算法被稱做 主成分分析（ PCA ）。

協方差

在統計學中，協方差 表現了兩組數據之間的關聯性（ 當數據爲同一個是就是 方差 ）。爲了瞭解 協方差 與降維算法的關係，咱們先來看簡單的二維狀況。假設咱們的數據有兩個特徵（ 如圖 ），而且已經作過 標準化。紅色的數據點在這個座標系下呈現出明顯的先關性（ 協方差 大 ）。

由 線性代數 的知識能夠知道，咱們可使用不一樣的 基 （ 特徵 ）來表示這些數據，如圖中的綠色座標和藍色座標。經過直覺能夠發現若是將數據投影到較長的藍色座標上來降維是更爲合適的選擇。事實上這也是使得 協方差 最小的選擇， 協方差 的最小化讓每一個特徵和其它特徵的關係性降到最低，使得每一個特徵被獨立地表達，而降維就是從中選出貢獻（ 方差 ）比較大的特徵。對於數據 （ 這裏的 和課程做業中的不一樣，每列表示一個數據 ），特徵間的 協方差 能夠表示爲 協方差矩陣。

協方差矩陣 對角線上的元素是數據在各個特徵上的 方差，其他是特徵之間的 協方差。因而降維的目標就成了找到一個基變換讓 協方差矩陣 裏除了對角線上的值，其他的都儘量小。不過在下面的討論中，咱們會知道能夠找到一組 基 使得變換後的 協方差 除了對角線上的值，其他都爲 0。

SVD

假設咱們的數據 經過基變換映射到了 ，， 的 協方差 爲：

到這裏就能夠看出咱們可以利用 矩陣對角化 的方法來獲得 ，就是存在單位正交特徵向量 ，使得 ，其中 爲 對角矩陣。經過這種方法能夠獲得基 ，而 對角上的元素表示各個特徵的貢獻大小。不過咱們還能夠經過 矩陣分解 的技巧來解決這個問題，使用 SVD 來分解矩陣的話有 ，通過推導能夠獲得：

因此能夠取 ，而 。對於降維，只要取 中佔比比較高的特徵對應的 基，也就是 的一部分 ，對應的數據也變爲了 。對於數據恢復，能夠經過簡單的推導獲得 。

課外閱讀

關於 PCA 的內容，我以爲有兩篇文章對我頗有幫助，在這裏分享給你們：PCA的數學原理、談談矩陣的 SVD 分解。

So~，第七週的內容就是這些了，謝謝你們耐心閱讀。