十大經典預測算法（二）----邏輯迴歸

1、邏輯迴歸概念

　　線性迴歸能夠擬合X與Y之間的關係，但迴歸模型中Y值是連續的，若是換成一個二分類標籤，Y只能取兩個值0、1，這時候就不能用線性迴歸了，這樣就有了邏輯迴歸。

　　針對Y的值域在區間[0-1]的問題，咱們不能尋找到一條完美曲線，用於擬合二分類模型，但咱們能夠尋找一條完美的S型曲線，S型曲線叫Sigmoid曲線，

 2、Sigmoid函數介紹

　　Sigmoid函數數學表達示

　　

以二分類爲例，邏輯迴歸就是假設y=1的機率爲(P(Y = 1))與X之間是S曲線關係，數學表達式爲

 

邏輯迴歸核心原理是在線性迴歸的基礎上加上一個Sigmoid函數，把訓練數據經過Sigmoid函數整合到（0---1）之間。

邏輯迴歸的損失函數爲

 

邏輯迴歸只能用梯度降低法來求解參數w,b，不能用最小二乘法。

 

邏輯迴歸雖然有「迴歸」兩字，可是他解決的是分類問題，而不是迴歸問題，邏輯迴歸是最經典和最經常使用的一個分類算法

隨機梯度降低：每次只考慮一個樣本

批量梯度降低：考慮全部樣本