乾貨|感知機更新算法正確性的直觀理解

這裏咱們就用一個例子，原本該點應該分爲正類，錯分爲負類，進行更新後，直觀上算法的正確性判斷。

首先當咱們感知機算法更新到某一點的時候，假如原來A點的正確類別是正類，y=1，算法將它判斷爲負類,判斷爲-1，以下所示：

咱們可以看到此時更新到了左下角的紅色正方框，此時是將它分錯了，假設它爲正類y=1,而咱們將它分爲了負類，分紅了-1。

那麼進行參數更新！更新方式以下：

那麼爲何更新後的超平面必定就比沒有更新後的超平面好呢？

下面從理論和可視化兩個部分來講明一下

理論

未更新前，咱們的wx+b是小於0的，才致使咱們錯分爲了負類，正確的標籤是y=1,爲正類。那麼進行更新後，咱們再進行計算，以下：

其中y=1，已經帶入式子。

咱們能夠經過看出，通過更新後，比原來的wx+b加上了正值，也就是說，更新後，必定使得原來分錯的負值往正向走！！

這也就是在理論上證實了每次更新都會更好的結論。

可視化

這種更新方式，咱們也有直觀上的感受，能夠可視化理解一下，以下圖：

上圖中的w是學習的超平面的法線向量，能夠看出它將x已經分錯了。那麼此時咱們須要將超平面往x方向走，才能將x點最後分對。

當咱們數據點應該分類爲y=+1的時候，咱們錯分紅-1(則判斷wx+b<0了，那麼說明wx<0,表明w與x向量夾角大於90度)，這個時候應該調整，更新過程爲w=w+1x,往x向量方向更接近了，往可以分對x點的方向走！以下圖：

這也從可視化角度直觀的說明了更新算法的正確性。

致謝：張嶽老師
推薦閱讀：
精選乾貨|近半年乾貨目錄彙總----全是通俗易懂的硬貨！歡迎閱讀！
乾貨|臺灣大學林軒田機器學習基石課程學習筆記3 -- Types of Learning
乾貨|臺灣大學林軒田機器學習基石課程學習筆記2 -- Learning to Answer Yes/No
乾貨|臺大林軒田機器學習基石筆記1 -- The Learning Problem

歡迎關注公衆號學習交流~