吳恩達機器學習系列17：支持向量機

支持向量機（Support vector machine）是一種強大的機器學習算法，和神經網絡相比，它在學習複雜的非線性方程時，可以提供更清晰和更增強大的方式。爲了學習支持向量機，咱們能夠先從邏輯迴歸開始，看看如何通過小小的改動能獲得支持向量機。

在邏輯迴歸中，假設函數 h_θ(x) 爲：

圖像爲：

對於一個樣原本說，代價函數爲：

當 y =1 時，第二項爲 0，只須要考慮第一項，畫出第一項的圖像：

咱們把這個圖像稍微修改一下，趨勢與邏輯迴歸類似，就變成了支持向量機代價函數一部分的圖像 cost_1(z)，以下圖粉色線：

第二項一樣道理，cost_0(z)：

邏輯迴歸中正則化代價函數爲：

將其中係數 1/m 去掉，把紅色部分換成上面粉色圖像的函數：

接着將淺藍色和粉色部分調換一下權重：

這樣就獲得支持向量機的代價函數：

只須要將這個函數最小化便可獲得參數。以上就是從邏輯迴歸推出支持向量機的整個過程。

ps. 本篇文章是根據吳恩達機器學習課程整理的學習筆記。若是想要一塊兒學習機器學習，能夠關注微信公衆號「SuperFeng」，期待與你的相遇。