最小二乘法 及python 實現

參考   最小二乘法小結     機器學習：Python 中如何使用最小二乘法

什麼是」 最小二乘法」 呢

      定義：最小二乘法（又稱最小平方法）是一種數學優化技術，它經過最小化偏差的平方和尋找數據的最佳函數匹配。

      做用：利用最小二乘法能夠簡便地求得未知的數據，並使得這些求得的數據與實際數據之間偏差的平方和爲最小。

      原則：以」 殘差平方和最小」 肯定直線位置 (在數理統計中，殘差是指實際觀察值與估計值之間的差)

      數學公式：

 

      基本思路：對於一元線性迴歸模型, 假設從整體中獲取了 n 組觀察值（X1，Y1），（X2，Y2）， …，（Xn，Yn），對於平面中的這 n 個點，可使用無數條曲線來擬合。而線性迴歸就是要求樣本回歸函數儘量好地擬合這組值，也就是說，這條直線應該儘量的處於樣本數據的中心位置。所以，選擇最佳擬合曲線的標準能夠肯定爲：使總的擬合偏差（即總殘差）達到最小。 求最小，那就經過 對參數分別求導數聯立方程組來解。

• 最小二乘法是直接利用最小化偏差平法和，來對參數求導，求得參數解，屬於比較肯定的值
• 而 梯度降低法 ，屬於迭代法，知道梯度 降低的方向劉，挨個去迭代。

1. 最小二乘法的原理與要解決的問題　

2. 最小二乘法的代數法解法

3.最小二乘法的侷限性和適用場景　　

 

 

##最小二乘法
import numpy as np   ##科學計算庫 
import scipy as sp   ##在numpy基礎上實現的部分算法庫
import matplotlib.pyplot as plt  ##繪圖庫
from scipy.optimize import leastsq  ##引入最小二乘法算法

''' 設置樣本數據，真實數據須要在這裏處理 '''
##樣本數據(Xi,Yi)，須要轉換成數組(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2]) Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3]) ''' 設定擬合函數和誤差函數 函數的形狀肯定過程： 1.先畫樣本圖像 2.根據樣本圖像大體形狀肯定函數形式(直線、拋物線、正弦餘弦等) '''

##須要擬合的函數func :指定函數的形狀
def func(p,x): k,b=p return k*x+b ##誤差函數：x,y都是列表:這裏的x,y更上面的Xi,Yi中是一一對應的
def error(p,x,y): return func(p,x)-y ''' 主要部分：附帶部分說明 1.leastsq函數的返回值tuple，第一個元素是求解結果，第二個是求解的代價值(我的理解) 2.官網的原話（第二個值）：Value of the cost function at the solution 3.實例：Para=>(array([ 0.61349535, 1.79409255]), 3) 4.返回值元組中第一個值的數量跟須要求解的參數的數量一致 '''

#k,b的初始值，能夠任意設定,通過幾回試驗，發現p0的值會影響cost的值：Para[1]
p0=[1,20] #把error函數中除了p0之外的參數打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi)) #讀取結果
k,b=Para[0] print("k=",k,"b=",b) print("cost："+str(Para[1])) print("求解的擬合直線爲:") print("y="+str(round(k,2))+"x+"+str(round(b,2))) ''' 繪圖，看擬合效果. matplotlib默認不支持中文，label設置中文的話須要另行設置 若是報錯，改爲英文就能夠 '''

#畫樣本點
plt.figure(figsize=(8,6)) ##指定圖像比例： 8：6
plt.scatter(Xi,Yi,color="green",label="樣本數據",linewidth=2) #畫擬合直線
x=np.linspace(0,12,100) ##在0-15直接畫100個連續點
y=k*x+b ##函數式
plt.plot(x,y,color="red",label="擬合直線",linewidth=2) plt.legend(loc='lower right') #繪製圖例
plt.show()

  結果以下所示： 

  輸出結果：

      k= 0.900458420439 b= 0.831055638877
      cost：1
      求解的擬合直線爲:
      y=0.9x+0.83

  繪圖結果：