python機器學習——邏輯迴歸

咱們知道感知器算法對於不能徹底線性分割的數據是無能爲力的，在這一篇將會介紹另外一種很是有效的二分類模型——邏輯迴歸。在分類任務中，它被普遍使用

邏輯迴歸是一個分類模型，在實現以前咱們先介紹幾個概念：

概率（odds ratio）：
\[ \frac {p}{(1-p)} \]
其中p表示樣本爲正例的機率，固然是咱們來定義正例是什麼，好比咱們要預測某種疾病的發生機率，那麼咱們將患病的樣本記爲正例，不患病的樣本記爲負例。爲了解釋清楚邏輯迴歸的原理，咱們先介紹幾個概念。

咱們定義對數概率函數（logit function）爲：
\[ logit(p) = log \frac {p}{(1-p)} \]
對數概率函數的自變量p取值範圍爲0-1，經過函數將其轉化到整個實數範圍中，咱們使用它來定義一個特徵值和對數概率之間的線性關係爲：
\[ logit(p(y=1|x)) = w_0x_0+w_1x_1+...+w_mx_m = \sum_i^nw_ix_i=w^Tx \]
在這裏，p(y=1|x)是某個樣本屬於類別1的條件機率。咱們關心的是某個樣本屬於某個類別的機率，恰好是對數概率函數的反函數，咱們稱這個反函數爲邏輯函數（logistics function），有時簡寫爲sigmoid函數：
\[ \phi(z) = \frac{1}{1+e^{-z}} \]
其中z是權重向量w和輸入向量x的線性組合：
\[ z = w^Tx=w_0+w_1x_1+...+w_mx_m \]
如今咱們畫出這個函數圖像：

import matplotlib.pyplot as plt

import numpy as np

def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))

z = np.arange(-7, 7, 0.1)

phi_z = sigmoid(z)

plt.plot(z, phi_z)
plt.axvline(0.0, color='k')
plt.axhspan(0.0, 1.0, facecolor='1.0', alpha=1.0, ls='dotted')
plt.yticks([0.0, 0.5, 1.0])
plt.ylim(-0.1, 1.1)
plt.xlabel('z')
plt.ylabel('$\phi (z)$')
plt.show()

能夠看出當z接近於正無窮大時，函數值接近1，一樣當z接近於負無窮大時，函數值接近0。因此咱們知道sigmoid函數將一個實數輸入轉化爲一個範圍爲0-1的一個輸出。

咱們將邏輯函數將咱們以前學過的Adaline聯繫起來，在Adaline中，咱們的激活函數的函數值與輸入值相同，而在邏輯函數中，激活函數爲sigmoid函數。

sigmoid函數的輸出被解釋爲某個樣本屬於類別1的機率，用公式表示爲：
\[ \hat y=\begin{cases}1,\quad \phi(z)\ge 0.5 \\\\0,\quad otherwise\end{cases} \]
也就是當函數值大於0.5時，表示某個樣本屬於類別1的機率大於0.5，因而咱們就將此樣本預測爲類別1，不然爲類別0。咱們仔細觀察上面的sigmoid函數圖像，上式也等價於：
\[ \hat y=\begin{cases}1,\quad z\ge 0.0 \\\\0,\quad otherwise\end{cases} \]
邏輯迴歸的受歡迎之處就在於它能夠預測發生某件事的機率，而不是預測這件事情是否發生。

咱們已經介紹了邏輯迴歸如何預測類別機率，接下來咱們來看看邏輯迴歸如何更新權重參數w。

對於Adaline，咱們的損失函數爲：
\[ J(w) = \sum_i\frac12(\phi(z^{(i)})-y^{(i)})^2 \]
咱們經過最小化這個損失函數來更新權重w。爲了解釋咱們如何獲得邏輯迴歸的損失函數，在構建邏輯迴歸模型時咱們要最大化似然L（假設數據集中的全部樣本都是互相獨立的）：
\[ L(w)=P(y|x,w)=\prod^n_{i=1}P(y^{(i)}|x^{(i)};w)=\prod^n_{i=1}(\phi(z^{(i)}))^{y^{(i)}}(1-\phi(z^{(i)}))^{1-y^{(i)}} \]
一般咱們會最大化L的log形式，咱們稱之爲對數似然函數：
\[ l(w)=logL(w)=\sum_{i=1}^n\left[y^{(i)}log(\phi(z^{(i)})+(1-y^{(i)})log(1-\phi(z^{(i)}))\right] \]
這樣作有兩個好處，一是當似然很小時，取對數減少了數字下溢的可能性，二是取對數後將乘法轉化爲了加法，能夠更容易的獲得函數的導數。如今咱們可使用一個梯度降低法來最大化對數似然函數，咱們將上面的對數似然函數轉化爲求最小值的損失函數J：
\[ J(w)=\sum_{i=1}^n\left[-y^{(i)}log(\phi(z^{(i)}))-(1-y^{(i)})log(1-\phi(z^{(i)}))\right] \]
爲了更清晰的理解上式，咱們假設對一個樣本計算它的損失函數：
\[ J(\phi(z),y;w)=-ylog(\phi(z))-(1-y)log(1-\phi(z)) \]
能夠看出，當y=0時，式子的第一部分爲0，當y=1時，式子的第二部分爲0，也就是：
\[ J(\phi(z),y;w)=\begin{cases}-log(\phi(z)),\quad if\ y=1 \\\\-log(1-\phi(z)),\quad if \ y=0\end{cases} \]

能夠看出，當咱們預測樣本所屬於的類別時，當預測類別是樣本真實類別的機率越大時，損失越接近0，而當預測類別是真實類別的機率越小時，損失越接近無窮大。

做爲舉例，咱們這裏對權重向量w中的一個份量進行更新，首先咱們求此份量的偏導數：
\[ \frac{\partial }{\partial w_j}l(w) = \left(y\frac{1}{\phi(z)}-(1-y)\frac{1}{1-\phi(z)}\right)\frac{\partial }{\partial w_j}\phi(z) \]
在繼續下去以前，咱們先計算一下sigmoid函數的偏導數：
\[ \frac{\partial }{\partial z}\phi(z) = \frac{\partial }{\partial z}\frac{1}{1+e^{-z}}=\frac{1}{(1+e^{-z})^2}e^{-z}=\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})\\=\phi(z)(1-\phi(z)) \]
如今咱們繼續：
\[ \left(y\frac{1}{\phi(z)}-(1-y)\frac{1}{1-\phi(z)}\right)\frac{\partial }{\partial w_j}\phi(z)\\=\left(y\frac{1}{\phi(z)}-(1-y)\frac{1}{1-\phi(z)}\right)\phi(z)(1-\phi(z))\frac{\partial }{\partial w_j}z\\=\left(y(1-\phi(z))-(1-y)\phi(z)\right)x_j\\=(y-\phi(z))x_j \]
因此咱們的更新規則爲：
\[ w_j = w_j + \eta\sum^n_{i=1}\left(y^{(i)}-\phi(z^{(i)})\right)x_j^{(i)} \]
由於咱們要同時更新權重向量w的全部份量，因此咱們更新規則爲（此處w爲向量）：
\[ w = w+\Delta w\\\Delta w = \eta\nabla l(w) \]
由於最大化對數似然函數也就等價於最小化損失函數J，因而梯度降低更新規則爲：
\[ \Delta w_j=-\eta\frac{\partial J}{\partial w_j}=\eta\sum^n_{i=1}\left(y^{(i)}-\phi(z^{(i)})\right)x^{(i)}_j\\w=w+\Delta w,\Delta w=-\eta \nabla J(w) \]