最小二乘思想

線性迴歸預測的基礎，最小二乘法，學習推導過程的時候，對這個概念不是特別清楚。在網上整理的這個正好能夠知足我對它的理解，特此記錄

在估計方法中，最大似然和最小二乘是常常被使用到的，其中的最小二乘更是迴歸的基礎。樓主在剛接觸最小二乘的時候曾經想過一個問題，爲何非要用平方？絕對值不行麼？……不少問題縈繞腦中。略微整理了一下分享給你們：
一、什麼是最小二乘思想？
簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裏的「二乘」指的是用平方來度量觀測點與估計點的遠近（在古漢語中「平方」稱爲「二乘」），「最小」指的是參數的估計值要保證各個觀測點與估計點的距離的平方和達到最小。從這個上也能夠看出，最小二乘也可用於擬合數據模型。

這當中涉及到以下問題：
①觀測點和距離點的距離：這個距離也被稱爲偏差。既然要估計，總但願找到最好的估計值，那麼偏差越小越好。
②爲何是距離的平方和：距離的平方和也就是偏差的平方和，既然偏差越小越好，那是否能夠用絕對值來代替？；樓主以爲用絕對值代替的這個想法是能夠的，只是在以後的運算求值時處理比較複雜。（樓主隱約記得取絕對值最小的方法好像是最小一乘法）
③爲何平方求解方便呢？那就要從公式講起了（樓主說好不上覆雜公式推導的，好吧，這裏就簡單描述一下吧……）
設擬合直線是  ,距離（或偏差）爲  ，那麼最小二乘的思想就是讓等式 具備最小值。那麼這就須要作求偏導了。（這也就是爲何最小二乘有個要求就是數據須要具備二階矩），大體推導過程以下：
 
整理後對方程組求解
 
最終解得  

二、何時用最小二乘法
在研究兩個變量之間的關係時，能夠用迴歸分析的方法進行分析。當肯定了描述兩個變量之間的迴歸模型後，就可使用最小二乘法估計模型中的參數，進而創建經驗方程。例如，在現實世界中，這樣的情形大量存在着：兩個變量X和Y（好比身高和體重）彼此有一些依賴關係，由X能夠部分地決定Y的值，但這種關係又是不肯定的.人們經常藉助統計學中的迴歸模型來尋找兩個變量之間的關係，而模型的創建固然是依據觀測數據.首先經過試驗或調查得到x和Y的一組對應關係(x1，Y1)，(x2，Y2)，…，(xn，Yn)，而後回答下列5個問題：
1. 這兩個變量是否有關係？(畫出散點圖，做直觀判斷)
2. 這些關係是否能夠近似用函數模型來描述？（利用散點圖、已積累的函數曲線形狀的知識和試驗數據，選擇適當的迴歸模型，如一元線性模型，二次函數模型等）
3. 創建迴歸模型.
4. 對模型中的參數進行估計，最小二乘法是這些參數的一種經常使用估計方法.
5. 討論模型的擬合效果.