2、sklearn實現線性迴歸

一、簡單線性迴歸概念

簡單線性迴歸經過擬合線性方程y=wx+b獲得預測值，經過取得預測值和真實值的最小差距，獲得w和b的值。

　　公式：J(w,b)_min=Σ(yⁱ-yⁱ_pre)²=∑(yⁱ-wxⁱ+b)²，即公式取最小值

二、經過最小二乘法求解w和b

• w = ∑(xⁱ-x_mean)(yⁱ-y_mean)/∑*(xⁱ-x_mean)
• b = y_mean-ax_mean
• 向量化公式：w = XY/XX

import numpy as np
from sklearn import datasets

from sklearn.model_selection import train_test_split

# 導入線性迴歸庫
from sklearn.linear_model import LinearRegression

boston = datasets.load_boston()

a = boston.data
y = boston.target
a = a[y<50.0]
y = y[y<50.0]

X_train, X_test, y_train, y_test = train_test_split(a, y, random_state=666)

lin_reg = LinearRegression()

lin_reg.fit(X_train, y_train)

# 權重係數
lin_reg.coef_

# 截距
lin_reg.intercept_

# R2準確率
lin_reg.score

View Code

三、線性迴歸準確性的衡量標準

　　通常J(w,b)值最小時預測準確率最高，但考慮樣本集的數量，如：10000個樣本偏差爲1000，100個樣本偏差爲500，這樣偏差爲1000的預測效果好，因此要去掉樣本集的影響。

• 均方偏差：MSE=J(w,b)/m
• 均方根偏差：RMSE=sqrt(MSE)
• 平均絕對值偏差：MAE=∑|yⁱ-yⁱ_pre|/m　　

四、最好的線性迴歸準確性的衡量標準R Squared

　　公式：R2=1-∑(yⁱ-yⁱ_pre)²/∑(y_mean-yⁱ)²

　　分子：表示自定義模型預測產生的偏差

　　分母：使用y=y_mean基準模型預測產生的偏差

　　公式表示自定義模型對比基準模型的百分比

　　R²<=1且值越大表示自定義模型預測的效果越好

　　R²<0表面自定義模型預測效果極差，不如基準模型，數據之間大機率不是線性關係

　　R²分子分母同時除以樣本m獲得：R² = 1-MSE(ypre-y)/var(y) (var是方差)

import numpy as np
from sklearn import datasets

from sklearn.model_selection import train_test_split

# 導入線性迴歸庫
from sklearn.linear_model import LinearRegression

# 導入（MSE）
from sklearn.metrics import mean_squared_error

# 導入（MAE）
from sklearn.metrics import mean_absolute_error

# 導入(R2)
from sklearn.metrics import r2_score

boston = datasets.load_boston()

a = boston.data
y = boston.target
a = a[y<50.0]
y = y[y<50.0]

X_train, X_test, y_train, y_test = train_test_split(a, y, random_state=666)

lin_reg = LinearRegression()

lin_reg.fit(X_train, y_train)

MSE = mean_squared_error(y, y_calculate)

MAE = mean_absolute_error(y, y_calculate)

# RMSE
RMSE = np.sqrt(MSE)

# R2
r2_score(y, y_calculate)

View Code

五、多元線性迴歸

　　一個樣本具備N個特徵值：y = b + w₁x₁ + w₂x₂ + ...+ w_mx_m

 

六、線性迴歸模型的解釋

　　w係數的正負分別表明正負相關，數值大小表明相關程度