[機器學習]迴歸--Polinomial Regression 多項式迴歸

首先咱們須要明確一個概念，咱們討論的線性或者非線性針對的是自變量的係數，而非自變量自己，因此這樣的話無論自變量如何變化，自變量的係數若是符合線性咱們就說這是線性的。因此這裏咱們也就能夠描述一下多項式線性迴歸。

由此公式咱們能夠看出，自變量只有一個，就是x，只不過x的級數（degree）不一樣而已。

咱們此次用的數據是公司內部不一樣的promotion level所對應的薪資

下面咱們來看一下在Python中是如何實現的

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

dataset = pd.read_csv('Position_Salaries.csv')
X = dataset.iloc[:, 1:2].values
# 這裏注意：1:2其實只有第一列，與1 的區別是這表示的是一個matrix矩陣，而非單一貫量。
y = dataset.iloc[:, 2].values

接下來，進入正題，開始多項式線性迴歸：

from sklearn.preprocessing import PolynomialFeatures
poly_reg = PolynomialFeatures(degree = 1) #degree 就是自變量須要的維度
X_poly = poly_reg.fit_transform(X)
lin_reg_2 = LinearRegression()
lin_reg_2.fit(X_poly, y)

這個過程咱們設置了一元一次的自變量：degree=1 意思是自變量只有一次，至關於簡單線性迴歸
咱們在圖像中表示一下：

# 圖像中顯示
plt.scatter(X, y, color = 'red')
plt.plot(X, lin_reg_2.predict(poly_reg.fit_transform(X)), color = 'blue')
plt.title('Truth or Bluff (Polynomial Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()

此圖像與用簡單線性迴歸表示的圖像是同樣的

# 簡單線性迴歸 圖像中顯示
plt.scatter(X, y, color = 'red')
plt.plot(X, lin_reg.predict(X), color = 'blue')
plt.title('Truth or Bluff (Linear Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()

下面咱們試着改變一下維度，將degree設置成2，其餘不改變，執行一下代碼看看圖像：

咱們能夠發現整個趨勢符合數據的分佈。

咱們將degree改爲3 和 4 看看結果

咱們能夠發現，當degree=4的時候，基本上已經符合全部點的分佈了

咱們經過拆分橫座標將圖像變得平滑一些:

X_grid = np.arange(min(X), max(X), 0.1)
X_grid = X_grid.reshape((len(X_grid), 1))
plt.scatter(X, y, color = 'red')
plt.plot(X_grid, lin_reg_2.predict(poly_reg.fit_transform(X_grid)), color = 'blue')
plt.title('Truth or Bluff (Polynomial Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()

下面咱們給出一個測試值來試試結果 （6,10）

lin_reg_2.predict(poly_reg.fit_transform(6))   
lin_reg_2.predict(poly_reg.fit_transform(10))

與實際值仍是比較接近的。