【原創】大叔算法分享（7）最小二乘法

Ordinary Least Square 最小二乘法

提到最小二乘法要先提到擬合，擬合（Fitting）是數值分析（Numerical Analysis）的基礎工具之一，擬閤中最簡單的是一元函數（function of one variable）擬合，一元函數擬合（即二維平面）分爲直線擬合（一元一次函數，好比Y=aX+b）和曲線擬合（一元高次函數，好比Y=aX^2+bX+c），一元函數擬閤中最簡單的是直線擬合，直線擬合是找到一條直線儘量穿過全部的點，注意這裏是儘量，由於只要超過2個點，就有可能發生直線不能精確穿過全部點的狀況，這時肯定直線的原則有不少種，最小二乘法就是其中的一種，當直線不能穿過點時產生偏差（點和直線的距離），最小二乘法的原則就是讓全部點的偏差的平方和最小；

最小二乘法（又稱最小平方法）是一種數學優化技術。它經過最小化偏差的平方和尋找數據的最佳函數匹配。利用最小二乘法能夠簡便地求得未知的數據，並使得這些求得的數據與實際數據之間偏差的平方和爲最小。

直線擬合（線性迴歸）過程以下圖：

來看標準定義：

對給定數據點集合  ，在取定的函數類  中，求  ，使偏差的平方和  最小，  。從幾何意義上講，就是尋求與給定點集 的距離平方和爲最小的曲線y=p(x)。函數p(x)稱爲擬合函數或最小二乘解，求擬合函數p(x)的方法稱爲曲線擬合的最小二乘法。

 

假設直線方程爲

則偏差爲

其中di表示(xi, yi)點的偏差

 

全部偏差的平方和爲

這是一個2次函數，2次函數曲線如圖：

2次函數中D的最小值位於導數等於0的點，因此計算D對a和b的兩個偏導數爲0便可獲得兩個關於a和b的方程，

最終計算得出a和b的計算公式爲：

公式推導過程詳見 https://www.cnblogs.com/paiandlu/p/7843236.html