linear regression and logistic regression

#①linear regression ###target function的推導 線性迴歸是一種作擬合的算法：

經過工資和年齡預測額度，這樣就能夠作擬合來預測了。有兩個特徵，那麼就要求有兩個參數了，設置 ，對應工資和年齡兩個字段的值。擬合的公式通常都是 ，因此還缺一個 ，因此還要設置一個 ，因此決策函數就是 。這個決策函數的形式並非推出來的，而是經驗之舉設置成這個形式的。能夠設置多一個 ，使得 ，而後上式就能夠變成 ，整合一下， 。

###偏差 上面的能夠看作是一個偏差，這個偏差知足高斯分佈，服從均值爲0，方差爲的高斯分佈，也就是高斯分佈。由於求出來的擬合數值不是必定就準確的，確定會有一些的偏差。

通常偏差不會太多，都是在0上下浮動的，因此0附近是最高的機率。 使用linear regression要知足三個條件： 1.獨立，每個樣本點之間都要相互獨立。 2.同分布，他們的銀行是同樣的，使用的算法是同樣的。 3.偏差都服從高斯分佈。

因爲偏差是服從高斯分佈的，天然有：$$P(\theta_0)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{\theta_0^2}{2\sigma^2})$$ 上述式子有：

須要求參數，天然就是最大似然函數：

log化簡： 最大化這個似然函數那就是最小化。由於前面都是常數，能夠忽略。而這個式子稍微變一下就是最小二乘法了。 最小二乘法：，不用上面化簡出來的式子非要加上是由於求導以後2是能夠和0.5抵消的。 ###目標函數的化簡 化簡一下： 求極小值，直接就是導數爲0便可，因此對求導數便可。 直接令等於0：。 這樣就是獲得了最終的目標函數，一步就能夠到達最終的optimal value。這就是linear regression。因此線性迴歸是有解析解的，直接一條公式就能夠求出來的。注意上面的公式的是不包含bias偏置值，偏置項就是偏差，代入高斯函數推導出來的。 #②logistic regression ###target function 的推導 首先要提一個函數，sigmoid函數： 這個函數以前被用來作神經網絡的激活函數，可是它有一個缺點。

離原點處越遠梯度就越趨近於0，在神經網絡裏面就會出現一個梯度消失的問題，因此後來就用relu或者tanh函數代替了。這個函數的值域是在 ，因此sigmoid函數能夠把一個值映射成一個機率，經過這個函數就能夠作出一個機率，最後用過這個機率來區分類別。這裏的決策函數仍是和以前的同樣$$h(x) = \sum_{i=1}^m\theta_ix+\theta_0$$這樣有點麻煩，能夠把 合併到 ，只須要在 中加多一列1就行了，因此函數能夠簡化 。這仍是不是最終的決策函數，這只是一個值，只是一個得分，須要把這個得分轉換成一個機率。因此最終的決策函數就是 。假設有兩個類別 ，那麼能夠假設屬於 的類別就是 ，屬於 的類別就是 這樣的兩個的式子對於求導和化簡都很差，因此合併一下：$$P(y|x:\theta) = (h(x)^y)(1-h(x)^{1-y})$$由於y只有1和0，若是當前的分類是y，那麼就是 的機率，不是就是另一個。 ###目標函數的化簡 最大似然函數，常規操做，給定了數據集找到符合這個數據集的分佈通常也就是最大似然函數適合了。因此$$L(\theta) = \prod_{i=1}^mP(y_i|x_i;\theta) = \prod_{i=1}^{m}(h(x_i)^{y_i}(1-h(x_i))^{1-y_i})$$ log化：

因此梯度更新公式：

這個方法就梯度降低，問題來了，爲何要用梯度降低？爲何不能夠直接等於0呢？

####logistics regression沒有解析解 若是等於0，就有：$$\sum_{n=1}^Nsigmoid(\theta^Tx) = x^Ty$$考察一下兩個特徵兩個樣本的狀況：

有三個不一樣的sigmoid函數，兩個式子解不了，由於sigmoid函數不是線性的，若是是線性的，那麼能夠吧 提出來，這樣就有解了。其實若是sigmoid去掉，僅僅把 那麼就和linear regression同樣了。因此是沒有解析解的，主要的緣由就是由於sigmoid函數是一個非線性的函數。

###當標籤不一樣的時候另外一種函數形式 計算分數函數同樣的： 以前瞭解的preceptron：

直接把score分數經過一個sign函數便可。0/1錯誤。 linear regression:

線性迴歸就是去掉了sign函數，使其成爲一個線性函數，error function = square logistic regression：

常規操做，就是要找到error function先。按照剛剛的函數分佈能夠獲得：

極大似然函數：

sigmoid函數有一個比較牛逼的性質。$$1-\frac{1}{1+e^{-x}}=\frac{e^{-x}}{1+e^{-x}}=\frac{1}{\frac{1}{e^{-x}}+1} = \frac{1}{1+e^x}$$

想簡化模型就只須要減小w的個數便可，好比簡化成2階：只須要把後面大於3的w都置爲0便可。然而，問題來了，爲何畫蛇添足先要設置成10階再退化回2階呢？首先這是爲了拓展視野，其次，萬一這些個數據不是2階課完成的呢？要知道咱們事先是不能夠知道數據的分佈的。 剛剛是規定了前面的不爲0，如今放寬一下條件，只要3個w不爲0就行了，因而有:這種形式下的hypothesis稱爲，有 可是這種方法已經被證實是NP-hard問題了，因此尋求一種更簡便的辦法：$$\sum_{q=0}^{10}w^2<=C$$小於某一個constant便可。當C很是大的時候，那就和高階的基本沒有什麼區別了，用這種方法改造一下linear regression：

這樣就把W限定在了一個以根號C的一個球形裏面，兩個W纔是一個圓，多個w就是立體的球了。

能夠看到梯度的方向是差很少對準了（最好的W），只要在切線方向有份量，那麼就會沿着切線的方向滑動。可是能夠看到，這梯度的方向只是差很少對準了而不是準確的對齊，由於是直接的求導，你不能夠保證這個式子就是一個凸優化問題，它多是多個凸優化多個山谷的，可能只是看到了比較近的一個山谷，可是大體方向是正確的。因此若是梯度沒有和份量w平行，那麼會一直移動，能夠看作是，梯度就是負方向嘛，當平行時，按照圖中的推理：，就是square error function求導，因此有$$\frac{2}{N}(z^Tzw-z^Ty)+\frac{2\lambda}{N}w=0$$，最後就推導出$$w = (z^Tz+\lambda I)^{-1}z^Ty$$ 這種線性迴歸被當作是origin linear regression的進階版，也叫ridge regression。 上面的公式也能夠直接用拉格朗日乘子法推出來：$$error = E_{in}+\lambda w^Tw$$ 拉格朗日：

能夠看到λ越大w越小，對於模型的懲罰也就越大，因此也叫作正則化懲罰項。這種懲罰會是的曲線愈來愈平滑，後面還會講到另外一種regularization。 ###對於regularization的VC 理論解釋 正則化出來事後的linear regression就是ridge regression，根據以前的VC bound理論： ，其中 是複雜度， 表明的是單個hypothesis的複雜度，而 表明的整個hypothesis set的複雜度，因此 是被包含在 裏面的，因此相對來講 ，相對來講會和 更加接近。

而對於VC dimension，既然w被限制了，那麼ridge的確定比origin的小了。 ###General Regularizers 兩個比較經常使用的： ridge：L2範數， lasso：L1範數， ridge推導過了，來看看lasso的：

他的正常方向應該是垂直於邊界的，紅色的sign就是方向，而對於在邊界上，只要sign和△Ein不在一條直線上，那麼在正方形的邊界上就必定有一個相似於剛剛ridge綠色份量的份量存在，如上圖，就會向上方移動，而在邊角點實際上是不可微分的，因此通常結果會彙集在邊角的周圍，因此獲得的是一個稀疏矩陣，一些是0，一些不是零。結果會彙集在頂點周圍，優勢就是計算很快了。 上圖是用直觀的理解來解釋regularization，前面的是用VC demension來解釋，再用數值分析的角度看一下： 好比：方程式①： 5x + 7y = 0.7 7x + 10y = 1 x = 0 , y = 0.1 方程式②： 5x + 7y = 0.69 7x + 10y = 1.01 x = -0.17 y = 0.22 只要有一點微小的擾動，結果就會發生很大的變化，這就是病態矩陣，若是是病態矩陣，那麼兩次的結果可能會相差很大。是否是病態矩陣能夠用條件數來判斷。用條件數來描述病態矩陣其實仍是太抽象了。奇異矩陣就是不存在逆矩陣的方陣。什麼樣的方陣不存在逆矩陣？首先行列式爲0，天然就牽扯出來非滿秩，特徵值只和爲0。而對於近似奇異矩陣，他的行列式很接近於0，因此是一個很大的數字，根據求逆矩陣的公式，逆矩陣是能夠經過伴隨矩陣和行列式求的，因此天然差異就很大了，因此病態矩陣也就是近似於奇異矩陣的矩陣了。那麼知道緣由了，咱們要作的就是遠離奇異矩陣。而事實上，ridge regression的結果：

加上一個對角線的值其實就是遠離奇異矩陣。 最後再看一個圖：

lasso可使得權值衰減到0，很容易能夠和頂點相切，因此會使得權值衰減導0；可是ridge只會減小，而不會衰減導0，因此lasso是能夠用來控制權值的數量的。lasso同上也是知足了拉普拉斯分佈，是一個稀疏矩陣，而ridge是高斯分佈。 ###summary 加入正則項是爲了不過擬合,或解進行某種約束,須要解保持某種特性 ①L1正則能夠保證模型的稀疏性，也就是某些參數等於0,L1正則化是L0正則化的最優凸近似，比L0容易求解，而且也能夠實現稀疏的效果, ②L2正則能夠保證模型的穩定性，也就是參數的值不會太大或過小.L2範數是各參數的平方和再求平方根，咱們讓L2範數的正則項最小，可使W的每一個元素都很小，都接近於0。但與L1範數不同的是，它不會是每一個元素爲0，而只是接近於0。越小的參數說明模型越簡單，越簡單的模型越不容易產生過擬合現象。 ③在實際使用中，若是特徵是高維稀疏的，則使用L1正則；若是特徵是低維稠密的，則使用L2正則。 ④L2不能控制feature的「個數」，可是能防止模型overfit到某個feature上；相反L1是控制feature「個數」的，而且鼓勵模型在少許幾個feature上有較大的權重。 總結一下以前學過的，第十八篇博客VC dimension是機器學習的理論保證：

霍夫丁不等式保證了一個hypothesis發生壞事的機率是很小的，Multi霍夫丁不等式保證了這個hypothesis set對於全部的數據集發生的壞事的機率知足的不等式，VC dimension則保證了這個hypothesis set裏面發生的壞事的機率是很小的，這就保證了泛化能力：Ein ≈ Eout。 以後介紹了三種線性模型（PLA比較簡單，不會再講了）：

而對於這三種模型，咱們又給出了三種工具：

Feature Transform：經過低維不可線性可分轉換到高維線性可分來解決Nonlinear的狀況。 Regularization：經過增長正則化懲罰項來解決過擬合的問題。 Validation：用於對模型參數的選擇，第一次選擇：是選擇上面模型。第二次選擇就是對模型參數的選擇了，這就用Validation來帥選。 最後是三個比較經常使用的錦囊妙計：

#⑥logistics regression代碼實現

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns

def predict(w, x):
    h = x * w
    h = sigmoid(h)
    if h > 0.5:
        return int(1)
    else:
        return int(0)

def sigmoid(x):
    return np.longfloat(1.0/(1+np.exp(-x)))

def error_rate(h, label):
    m = np.shape(h)[0]
    sum_err = 0.0
    for i in range(m):
        if h[i, 0] > 0 and (1-h[i, 0]) > 0:
            sum_err += (label[i, 0] * np.log(h[i, 0]) + (1-label[i, 0])*np.log(1-h[i, 0]))
        else:
            sum_err += 0
    return sum_err/m

def lr_train_bgd(feature, label, maxCycle, alpha, df):
    n = np.shape(feature)[1]
    m = np.shape(feature)[0]
    w = np.mat(np.random.rand(n,1))
    i = 0
    while True:
        i += 1
        h = sigmoid(feature * w)
        err = label - h
        if i % 100== 0:
            print('error : ', error_rate(h, label))
            d = 0
            scores = []
            for i in range(m):
                score = predict(w, feature[i])
                scores.append(score)
                if score == label[i]:
                    d += 1
            print('train accuracy : ', (d/m)*100, '%')
            if (d/m)*100 >= 90:
                for i in range(m):
                    if df.iloc[i, 2] == 1:
                        c = 'red'
                    else:
                        c = 'blue'
                    plt.scatter(df.iloc[i, 0], df.iloc[i, 1], c=c)
                x = [i for i in range(0, 10)]
                plt.plot(np.mat(x).T, np.mat((-w[0]-w[1]*x)/w[2]).T, c = 'blue')
                plt.show()
                return

        w += alpha * feature.T * err

def loadData(filename):
    df = pd.read_csv(filename, sep=' ', names=['a', 'b', 'label'])
    n, m = df.shape
    features = []
    labels = []
    for i in range(n):
        feature = []
        feature.append(int(1))
        for j in range(1,m):
            feature.append(df.iloc[i, j])
        if df.iloc[i, m-1] == -1:
            labels.append(0)
        else:
            labels.append(1)
        features.append(feature)

    for i in range(n):
        if df.iloc[i, 2] == 1:
            c = 'red'
        else:
            c = 'blue'
        plt.scatter(df.iloc[i, 0], df.iloc[i, 1], c = c)
    plt.show()
    return np.mat(features), np.mat(labels).T, df

if __name__ == '__main__':
    f, t, df = loadData('../Data/testSet.txt')
    lr_train_bgd(f, t, 10000, 0.001, df)

複製代碼

####Github代碼：github.com/GreenArrow2…