線性迴歸之最小二乘法

數 學 老 師 不 給 窩 推 式 子 窩 要 瘋 了 啊 啊 啊 ！

最小二乘法，又稱最小平方法，是一種優化方法。

能夠經過求目標函數最值、解決曲線擬合問題來最終解決迴歸問題。

迴歸問題，就是對於一組數據，畫出散點圖後$(x_i,y_i)$，尋找一個函數$f(x)$使$Q=\sum_{i=1}^{n}(y_i-f(x_i))^2$最小，

即最小化偏差的平方和。

這裏以線性模型爲例(由於高中數學就講線性模型)

$y_i=kx_i+b+e_i$，其中$e_i$就是這個點所形成的偏差。

$e_i=y_i-b-kx_i$

其中咱們的目標就是最小化:

$Q=\sum_{i=1}^n e^2 = \sum_{i=1}^n(y_i-b-kx_i)^2$

作法就是，

對於$b,k$分別求偏導，獲得

$$ 
\left\{
\begin{array}{}
\frac{\partial Q}{\partial b } & = & 2 \sum_{i=1}^n &(b+kx_i-y_i) & = & 0 \\
\frac{\partial Q}{\partial k } & = & 2 \sum_{i=1}^n &x_i(b+kx_i-y_i) & = & 0 \\
\end{array}
\right.$$

而後就是導數$=0$的時候是最值。

這樣就解一個二元一次方程組就能獲得結果了。