理解最小二乘法

想要理解好最小二乘法，首先得理解一些數學概念。而後再去理解最小二乘法

1. 什麼是導數？ 導數在幾何裏面理解就是函數的切線，函數的增加速度。
   參考： 導數    第一節 導數概念
2. 什麼是偏導數？當一元函數是平面的時候（定義域x，值域y，組成一個平面），二元函數就是三維空間了（定義域x，定義域y，值域z組成一個三維空間xyz），一元函數的導數很好理解，那二元函數是一個立體空間，獲得的導數也是一個二元函數，就不那麼好理解了，因此須要咱們控制一面，就至關於減小一個元，變成一元函數的導數，好比說先去掉y這個平面，先求平行於xoz平面的的函數的導數，其實就至關於求一個一元函數的導數。
   參考：偏導數    偏導數及其幾何意義
3. 最小二乘法怎麼理解？
   對於一元線性迴歸模型, 假設從整體中獲取了n組觀察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。對於平面中的這n個點，可使用無數條曲線來擬合。要求樣本回歸函數儘量好地擬合這組值。綜合起來看，這條直線處於樣本數據的中心位置最合理。 選擇最佳擬合曲線的標準能夠肯定爲：使總的擬合偏差（即總殘差）達到最小。有如下三個標準能夠選擇：

• 用「殘差和最小」肯定直線位置是一個途徑。但很快發現計算「殘差和」存在相互抵消的問題。
• 用「殘差絕對值和最小」肯定直線位置也是一個途徑。但絕對值的計算比較麻煩。
• 最小二乘法的原則是以「殘差平方和最小」肯定直線位置。用最小二乘法除了計算比較方便外，獲得的估計量還具備優良特性。這種方法對異常值很是敏感。

仔細理解上面三個標準，理解他們的幾何意義，就知道最小二乘法（又叫最小平方法）才能是擬合曲線最優偏差最小。 還須要理解公式是怎麼推導出來的，以下兩個公式，式2是如何從式1推導過來的呢？就是要用到上面學習偏導數了，讓β0，β1分別成爲變量，x和y當作常量，Q至關於固定平面，分別求β0和β1方面的偏導數，最後讓偏導數的值爲0，就出來了式2了。
式1 式2
參考：最小二乘法