機器學習 | 吳恩達斯坦福課程筆記整理之（二）邏輯迴歸

本系列爲吳恩達斯坦福CS229機器學習課程筆記整理，如下爲筆記目錄：

　　（一）線性迴歸

　　（二）邏輯迴歸

　　（三）神經網絡

　　（四）算法分析與優化

　　（五）支持向量機

　　（六）K-Means

　　（七）特徵降維

　　（八）異常檢測

　　（九）推薦系統

　　（十）大規模機器學習

第二章 邏輯迴歸

使用線性迴歸來處理 0/1 分類問題比較困難，所以引入邏輯迴歸來完成 0/1 分類問題，邏輯一詞也表明了是（1）和非（0）。

1、Sigmoid預測函數

在邏輯迴歸中，定義預測函數爲：

 

g(z) 稱之爲 Sigmoid Function，亦稱 Logic Function

                    

2、決策邊界

決策邊界是預測函數 hθ(x) 的屬性，而不是訓練集屬性。這是由於能做出「劃清」類間界限的只有 hθ(x) ，而訓練集只是用來訓練和調節參數的。

• 線性決策邊界

              

• 非線性決策邊界

                  

2、預測代價函數

對於分類任務來講，咱們就是要反覆調節參數 θ ，亦即反覆轉動決策邊界來做出更精確的預測。假定咱們有代價函數 J(θ) ，其用來評估某個 θ 值時的預測精度，當找到代價函數的最小值時，就能做出最準確的預測。

一般，代價函數具有越少的極小值，就越容易找到其最小值，也就越容易達到最準確的預測。  -> 局部最小和全局最小

                             

邏輯迴歸定義的代價函數爲：

           

3、最小化代價函數

一樣採用BGD和SGD兩種方式

     

      

4、正則化

解決過擬合問題：

1）減小特徵數

2）平滑曲線

弱化高階項係數（減弱曲線曲折度），稱爲對參數 θ 的懲罰（penalize）。——正則化

 

· 線性迴歸中正則化：

   

其中，參數 λ 主要是完成如下兩個任務:

　　- 保證對數據的擬合良好

　　- 保證 θ 足夠小，避免過擬合問題。（λ 越大，要使 J(θ) 變小，懲罰力度就要變大，這樣 θ 會被懲罰得越慘（越小），即要避免過擬合，咱們顯然應當增大 λ 的值。）

· 邏輯迴歸中的正則化

5、多分類問題

一般採用 One-vs-All，亦稱 One-vs-the Rest 方法來實現多分類，其將多分類問題轉化爲了屢次二分類問題。

假定完成 K 個分類，One-vs-All 的執行過程以下：

　　- 輪流選中某一類型 i ，將其視爲正樣本，即 「1」 分類，剩下樣本都看作是負樣本，即 「0」 分類。

　　- 訓練邏輯迴歸模型獲得參數 θ(1),θ(2),...,θ(K) ，即總共得到了 K−1 個決策邊界。

                   

給定輸入 x，爲肯定其分類，須要分別計算 h(k)θ(x),k=1,...,K ，h(k)θ(x) 越趨近於1，x 越接近是第k類：

                             

 

參考： https://yoyoyohamapi.gitbooks.io/mit-ml/content/