LR 算法總結--斯坦福大學機器學習公開課學習筆記

 

 

在有監督學習裏面有幾個邏輯上的重要組成部件[3]，初略地分能夠分爲：模型，參數 和 目標函數。（此部分轉自 XGBoost 與 Boosted Tree）

1、模型和參數 
  模型指給定輸入xi如何去預測 輸出 yi。咱們比較常見的模型如線性模型（包括線性迴歸和logistic regression）採用

2、目標函數：損失 + 正則

模型和參數自己指定了給定輸入咱們如何作預測，可是沒有告訴咱們如何去尋找一個比較好的參數，這個時候就須要目標函數登場了。通常的目標函數包含下面兩項

 常見的偏差函數有平方偏差、交叉熵等，而對於線性模型常見的正則化項有L2正則和L1正則。

 3、優化算法

講了這麼多有監督學習的基本概念，爲何要講這些呢？ 是由於這幾部分包含了機器學習的主要成分，也是機器學習工具設計中劃分模塊比較有效的辦法。其實這幾部分以外，還有一個優化算法，就是給定目標函數以後怎麼學的問題。之因此我沒有講優化算法，是由於這是你們每每比較熟悉的「機器學習的部分」。而有時候咱們每每只知道「優化算法」，而沒有仔細考慮目標函數的設計的問題，比較常見的例子如決策樹的學習，你們知道的算法是每一步去優化gini entropy，而後剪枝，可是沒有考慮到後面的目標是什麼。

 而後看邏輯迴歸（LR）算法，主要參考斯坦福大學機器學習公開課，http://www.iqiyi.com/playlist399002502.html

邏輯迴歸是一種分類算法，而不是一種迴歸。邏輯迴歸採用sigmod函數，這是一個自變量取值在整個實數空間，因變量取值在0-1之間的函數，能夠將變量的變化映射到0-1之間，從而得到機率值。

sigmod函數形式以下

 

經過將代入sigmod函數，能夠獲得以下形式：

這樣咱們獲得了模型和參數，下一步咱們肯定目標函數，邏輯迴歸的損失函數是交叉熵函數，求得參數採用的優化算法是最大似然。

假設

能夠更加簡潔的寫做

根據最大似然算法，所求的模型應該使得取得樣本的狀況的機率越大越好，假設樣本相互之間都是獨立的，則能夠以下表示用模型取得樣本狀況的機率

也就是獨立事件同時發生的機率。爲了方便處理，取log則 

 這也就是邏輯迴歸的損失函數。

 求解這個目標函數採用隨機梯度降低的方法便可，

 

 因爲sigmod函數的以下特性

能夠簡單的將求梯度的式子簡化以下

 

這樣就能夠經過樣本不停的更新，直至找到知足要求的參數。

 

 

 

 

3: Principles of Data Mining, David Hand et al,2001. Chapter 1.5 Components of Data Mining Algorithms, 將數據挖掘算法解構爲四個組件：1）模型結構（函數形式，如線性模型），2）評分函數（評估模型擬合數據的質量，如似然函數，偏差平方和，誤分類率），3）優化和搜索方法（評分函數的優化和模型參數的求解），4）數據管理策略（優化和搜索時對數據的高效訪問）。