從零開始機器學習003-邏輯迴歸算法

老師的課程
1.從零開始進行機器學習
2.機器學習數學基礎(根據學生需求不斷更新)
3.機器學習Python基礎
4.最適合程序員的方式學習TensorFlow

問：邏輯迴歸是解決迴歸的問題嗎？
答：不是，邏輯迴歸解決的是分類問題。

1、邏輯迴歸概念

面對一個迴歸或者分類問題，創建代價函數，而後經過優化方法迭代求解出最優的模型參數，而後測試驗證咱們這個求解的模型的好壞。
Logistic迴歸雖然名字裏帶「迴歸」，可是它其實是一種分類方法，主要用於兩分類問題（即輸出只有兩種，分別表明兩個類別）
是什麼手段讓邏輯迴歸只能輸出兩種值呢？答：Sigmoid函數。

2、Sigmoid函數

Logistic函數（或稱爲Sigmoid函數），函數形式爲

其中e表明着常數 2.71828......
經過下面的圖形能夠看到，把任意一個z帶入到Sigmoid函數中，都會獲得一個(0,1)之間的值。那麼咱們可否把(0,1)之間的值想成是 0-100%的一個機率值呢？咱們把機率小於50%的分爲不易發生的一類。把剩餘的分爲另一類。這樣就產生了兩個類別。達到分類的目的。這個就是邏輯迴歸做爲分類的理論依據。

3、斷定條件(分類的那條線)

對多元線性迴歸方程求Sigmoid函數hθ(x)=g(θ0+θ1x1+...+θnxn)，找到一組θ，假設獲得−3+x1+x2=0的直線，把樣本分紅兩類。把(1,1)代入g函數，機率值<0.5，就斷定爲負樣本。這條直線就是斷定邊界，以下圖：

這條線就是線性迴歸函數，換句話說，參數z就是一個線性迴歸函數。
所以邏輯迴歸函數的表達式以下：

4、代價函數

邏輯迴歸方法主要是用最大似然估計來學習的，因此單個樣本的後驗機率爲：

整個樣本的後驗機率就是：

5、最終運用梯度降低求解：