線性迴歸

線性迴歸(Linear regression)是利用迴歸方程(函數)對一個或多個自變量(特徵值)和因變量(目標值)之間關係進行建模的一種分析方式。

特色：只有一個自變量的狀況稱爲單變量回歸，大於一個自變量狀況的叫作多元迴歸

通用公式：h(w) = w₁x₁+w₂x₂+w₃x₃+...+b=w^Tx + b

其中w，x能夠理解爲矩陣： 

線性迴歸當中的關係有兩種，一種是線性關係（單特徵與目標值的關係呈直線關係，或者兩個特徵與目標值呈現平面的關係），另外一種是非線性關。

線性迴歸損失函數定義爲：

• y_i爲第i個訓練樣本的真實值
• h(x_i)爲第i個訓練樣本特徵值組合預測函數
• 又稱最小二乘法

 

線性迴歸常常使用的兩種優化算法：

1. 正規方程

理解：X爲特徵值矩陣，y爲目標值矩陣。直接求到最好的結果

缺點：當特徵過多過複雜時，求解速度太慢而且得不到結果

 

2. 梯度降低(Gradient Descent)

理解：α爲學習速率，須要手動指定（超參數），α旁邊的總體表示方向，沿着這個函數降低的方向找，最後就能找到山谷的最低點，而後更新W值

使用：面對訓練數據規模十分龐大的任務 ，可以找到較好的結果

 

sklearn提供的線性迴歸API

sklearn.linear_model.LinearRegression(fit_intercept=True)

經過正規方程優化
fit_intercept：是否計算偏置
LinearRegression.coef_：迴歸係數
LinearRegression.intercept_：偏置
sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)

經過使用SGD優化
loss:損失類型 *
fit_intercept：是否計算偏置
learning_rate : string, optional

學習率填充
'constant': eta = eta0
'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
'invscaling': eta = eta0 / pow(t, power_t)
power_t=0.25:存在父類當中
SGDRegressor.coef_：迴歸係數
SGDRegressor.intercept_：偏置

 

示例： 波士頓房價預測

數據集來源：UCI datasets 

 

 

分析
迴歸當中的數據大小不一致，會致使結果影響較大，因此須要作標準化處理，同時對目標值也須要作標準化處理。
1. 數據分割與標準化處理
2. 迴歸預測
3. 線性迴歸的算法效果評估

 

迴歸性能評估

均方偏差(Mean Squared Error)MSE)評價機制：

yⁱ爲預測值，¯y爲真實值

 

迴歸性能評估的sklearn API：

sklearn.metrics.mean_squared_error(y_true, y_pred)
均方偏差迴歸損失
y_true:真實值
y_pred:預測值
return:浮點數結果

 

完整代碼：

from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import (
    LinearRegression,
    SGDRegressor
)
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_boston


def mylinearregression():
    """
    線性迴歸預測房價
    :return:
    """
    lb = load_boston()

    # 對數據集進行劃分
    x_train, x_test, y_train, y_test = train_test_split(
        lb.data, lb.target, test_size=0.3, random_state=24
    )

    # 須要作標準化處理對於特徵值處理
    std_x = StandardScaler()

    x_train = std_x.fit_transform(x_train)
    x_test = std_x.fit_transform(x_test)

    # 對於目標值進行標準化
    std_y = StandardScaler()

    y_train = std_y.fit_transform(y_train.reshape(-1, 1))
    y_test = std_y.transform(y_test.reshape(-1, 1))

    y_test = std_y.inverse_transform(y_test)

    # 使用線性模型進行預測 使用正規方程求解
    lr = LinearRegression()
    lr.fit(x_train, y_train)

    y_lr_predict = std_y.inverse_transform(lr.predict(x_test))

    print("正規方程預測的結果爲：", y_lr_predict)
    print("正規方程的均方偏差爲：", mean_squared_error(y_test, y_lr_predict))

    # 梯度降低進行預測
    sgd = SGDRegressor()
    sgd.fit(x_train, y_train)
    print("SGD的權重參數爲：", sgd.coef_)

    y_sgd_predict = std_y.inverse_transform(sgd.predict(x_test))
    print("SGD的預測的結果爲：", y_sgd_predict)
    print("SGD的均方偏差爲：", mean_squared_error(y_test, y_sgd_predict))

    return None


mylinearregression()

 

執行結果

 

 梯度降低預測方法：

SGDRegressor()

def __init__(self, loss="squared_loss", penalty="l2", alpha=0.0001,
                 l1_ratio=0.15, fit_intercept=True, max_iter=None, tol=None,
                 shuffle=True, verbose=0, epsilon=DEFAULT_EPSILON,
                 random_state=None, learning_rate="invscaling", eta0=0.01,
                 power_t=0.25, early_stopping=False, validation_fraction=0.1,
                 n_iter_no_change=5, warm_start=False, average=False,
                 n_iter=None):

經過調參，能夠找到學習率效果更好的值

 

線性迴歸的兩種優化方法對比：

梯度降低	正規方程
須要選擇學習率	不須要
須要迭代求解	一次運算得出
特徵數量較大可使用	須要計算方程，時間複雜度高O(n3)

 適用範圍：

• 小規模數據：
  • LinearRegression(不能解決擬合問題)
  • 嶺迴歸
• 大規模數據：SGDRegressor