機器學習5-線性迴歸

線性迴歸

什麼是線性迴歸

定義與公式

線性迴歸(Linear regression)是利用迴歸方程(函數)對一個或多個自變量(特徵值)和因變量(目標值)之間關係進行建模的一種分析方式。

• 特色：只有一個自變量的狀況稱爲單變量回歸，大於一個自變量狀況的叫作多元迴歸

 

 

 

線性迴歸的特徵與目標的關係分析

線性迴歸當中的關係有兩種，一種是線性關係，另外一種是非線性關係。在這裏咱們只能畫一個平面更好去理解，因此都用單個特徵舉例子。

• 線性關係

 

 

 

 若是在單特徵與目標值的關係呈直線關係，或者兩個特徵與目標值呈現平面的關係

• 非線性關係

 

 

線性迴歸的損失和優化原理

假設剛纔的房子例子，真實的數據之間存在這樣的關係

真實關係：真實房子價格 = 0.02×中心區域的距離 + 0.04×城市一氧化氮濃度 + (-0.12×自住房平均房價) + 0.254×城鎮犯罪率

那麼如今呢，咱們隨意指定一個關係（猜想）

隨機指定關係：預測房子價格 = 0.25×中心區域的距離 + 0.14×城市一氧化氮濃度 + 0.42×自住房平均房價 + 0.34×城鎮犯罪率

請問這樣的話，會發生什麼？真實結果與咱們預測的結果之間是否是存在必定的偏差呢？相似這樣樣子

 

 那麼存在這個偏差，咱們將這個偏差給衡量出來

損失函數

總損失定義爲：

 

 

 

• y_i爲第i個訓練樣本的真實值
• h(x_i)爲第i個訓練樣本特徵值組合預測函數
• 又稱最小二乘法

如何去減小這個損失，使咱們預測的更加準確些？既然存在了這個損失，咱們一直說機器學習有自動學習的功能，在線性迴歸這裏更是可以體現。這裏能夠經過一些優化方法去優化（實際上是數學當中的求導功能）迴歸的總損失！！！

優化算法

正規方程

 

 

理解：X爲特徵值矩陣，y爲目標值矩陣。直接求到最好的結果

缺點：當特徵過多過複雜時，求解速度太慢而且得不到結果

 

梯度降低

 

 

理解：α爲學習速率，須要手動指定（超參數），α旁邊的總體表示方向

沿着這個函數降低的方向找，最後就能找到山谷的最低點，而後更新W值

使用：面對訓練數據規模十分龐大的任務 ，可以找到較好的結果

咱們經過兩個圖更好理解梯度降低的過程

 

 

 

 因此有了梯度降低這樣一個優化算法，迴歸就有了"自動學習"的能力

優化動態圖演示

 

 

線性迴歸API

• sklearn.linear_model.LinearRegression(fit_intercept=True)
  • 經過正規方程優化
  • fit_intercept：是否計算偏置
  • LinearRegression.coef_：迴歸係數
  • LinearRegression.intercept_：偏置
• sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)
  • SGDRegressor類實現了隨機梯度降低學習，它支持不一樣的loss函數和正則化懲罰項來擬合線性迴歸模型。
  • loss:損失類型
    • loss=」squared_loss」: 普通最小二乘法
  • fit_intercept：是否計算偏置
  • learning_rate : string, optional
    • 學習率填充
    • 'constant': eta = eta0
    • 'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
    • 'invscaling': eta = eta0 / pow(t, power_t)
      • power_t=0.25:存在父類當中
    • 對於一個常數值的學習率來講，可使用learning_rate=’constant’ ，並使用eta0來指定學習率。
  • SGDRegressor.coef_：迴歸係數
  • SGDRegressor.intercept_：偏置

 

 案例-波士頓房價

數據介紹

 

 

分析

迴歸當中的數據大小不一致，是否會致使結果影響較大。因此須要作標準化處理。同時咱們對目標值也須要作標準化處理。

• 數據分割與標準化處理
• 迴歸預測
• 線性迴歸的算法效果評估

迴歸性能評估

均方偏差(Mean Squared Error)MSE)評價機制：

 

 

 y^i爲預測值，¯y爲真實值

sklearn.metrics.mean_squared_error(y_true, y_pred)

• 均方偏差迴歸損失
• y_true:真實值
• y_pred:預測值
• return:浮點數結果

from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression,SGDRegressor from sklearn.metrics import mean_squared_error def linear1(): """ 正規方程的優化方法對波士頓房價預測 """
    #獲取數據
    boston=load_boston() print("特徵個數：\n",boston.data.shape) #劃分數據集
    x_train,x_test,y_train,y_test=train_test_split(boston.data,boston.target,random_state=22) #標準化
    transfer=StandardScaler() x_train=transfer.fit_transform(x_train) x_test=transfer.transform(x_test) #預估器
    estimator=LinearRegression() estimator.fit(x_train,y_train) #得出模型
    print("正規方程-權重係數爲：\n",estimator.coef_) print("正規方程-偏置爲：\n",estimator.intercept_ ) #模型評估
    y_predict=estimator.predict(x_test) print("預測房價：\n",y_predict) error=mean_squared_error(y_test,y_predict) print("正規方程-均方差偏差:\n",error) return None def linear2(): """ 梯度降低的優化方法對波士頓房價預測 """
    #獲取數據
    boston=load_boston() #劃分數據集
    x_train,x_test,y_train,y_test=train_test_split(boston.data,boston.target,random_state=22) #標準化
    transfer=StandardScaler() x_train=transfer.fit_transform(x_train) x_test=transfer.transform(x_test) #預估器
    estimator=SGDRegressor() estimator.fit(x_train,y_train) #得出模型
    print("梯度降低-權重係數爲：\n",estimator.coef_) print("梯度降低-偏置爲：\n",estimator.intercept_ ) #模型評估
    y_predict = estimator.predict(x_test) print("預測房價：\n", y_predict) error = mean_squared_error(y_test, y_predict) print("梯度降低-均方差偏差:\n", error) return None if __name__ == '__main__': linear1() linear2()

結果爲：

 

 

 

 

正規方程和梯度降低對比

總結

• 線性迴歸的損失函數-均方偏差
• 線性迴歸的優化方法線性迴歸的性能衡量方法-均方偏差
  • 正規方程
  • 梯度降低
• sklearn的SGDRegressor API 參數