最小二乘法小結

時間 2019-11-05

標籤最小二乘小結简体版

原文原文鏈接

http://www.cnblogs.com/pinard/p/5976811.htmlhtml

最小二乘法是用來作函數擬合或者求函數極值的方法。在機器學習，尤爲是迴歸模型中，常常能夠看到最小二乘法的身影，這裏就對我對最小二乘法的認知作一個小結。機器學習

1.最小二乘法的原理與要解決的問題　

　　　　最小二乘法是由勒讓德在19世紀發現的，原理的通常形式很簡單，固然發現的過程是很是艱難的。形式以下式：分佈式

　　　　　　目標函數 = Σ（觀測值-理論值）²函數

　　　　觀測值就是咱們的多組樣本，理論值就是咱們的假設擬合函數。目標函數也就是在機器學習中常說的損失函數，咱們的目標是獲得使目標函數最小化時候的擬合函數的模型。舉一個最簡單的線性迴歸的簡單例子，好比咱們有m個只有一個特徵的樣本：學習

　　　　 $(x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}, . . . (x^{(m)}, y^{(m)})$ 大數據

　　　　樣本採用下面的擬合函數：優化

　　　　 $h_{θ} (x) = θ_{0} + θ_{1} x$ atom

　　　　這樣咱們的樣本有一個特徵x，對應的擬合函數有兩個參數 $θ_{0} 和 θ_{1}$ spa

須要求出。orm

　　　　咱們的目標函數爲：

　　　　 $J (θ_{0}, θ_{1}) = \sum_{i = 1}^{m} (y^{(i)} - h_{θ} (x^{(i)})^{2} = \sum_{i = 1}^{m} (y^{(i)} - θ_{0} - θ_{1} x^{(i)})^{2}$

　　　　用最小二乘法作什麼呢，使 $J (θ_{0}, θ_{1})$

最小，求出使 $J (θ_{0}, θ_{1})$

，這樣擬合函數就得出了。

　　　　那麼，最小二乘法怎麼才能使 $J (θ_{0}, θ_{1})$

最小呢？

2.最小二乘法的代數法解法

　　　　上面提到要使 $J (θ_{0}, θ_{1})$

$J (θ_{0}, θ_{1})$

的值。下面咱們具體看看過程。

　　　　 $J (θ_{0}, θ_{1}) 对 θ_{0}$

求導，獲得以下方程：

　　　　 $\sum_{i = 1}^{m} (y^{(i)} - θ_{0} - θ_{1} x^{(i)}) = 0$

①

　　　　 $J (θ_{0}, θ_{1}) 对 θ_{1}$

求導，獲得以下方程：

　　　　 $\sum_{i = 1}^{m} (y^{(i)} - θ_{0} - θ_{1} x^{(i)}) x^{(i)} = 0$

　　　　　　　　 ②

　　　　①和②組成一個二元一次方程組，容易求出 $θ_{0} 和 θ_{1}$

的值：

　　　　 $θ_{0} = \sum_{i = 1}^{m} (x^{(i)})^{2} \sum_{i = 1}^{m} y^{(i)} - \sum_{i = 1}^{m} x^{(i)} \sum_{i = 1}^{m} x^{(i)} y^{(i)} / m \sum_{i = 1}^{m} (x^{(i)})^{2} - (\sum_{i = 1}^{m} x^{(i)})^{2}$

　　　　 $θ_{1} = m \sum_{i = 1}^{m} x^{(i)} y^{(i)} - \sum_{i = 1}^{m} x^{(i)} \sum_{i = 1}^{m} y^{(i)} / m \sum_{i = 1}^{m} (x^{(i)})^{2} - (\sum_{i = 1}^{m} x^{(i)})^{2}$

　　　　這個方法很容易推廣到多個樣本特徵的線性擬合。

　　　　擬合函數表示爲 $h_{θ} (x_{1}, x_{2}, . . . x_{n}) = θ_{0} + θ_{1} x_{1} + . . . + θ_{n} x_{n}$

$J (θ_{0}, θ_{1})$

，這樣擬合函數表示爲：

　　　　 $h_{θ} (x_{0}, x_{1}, . . . x_{n}) = \sum_{i = 0}^{n} θ_{i} x_{i}$

。

　　　　損失函數表示爲：

$J (θ_{0}, θ_{1} . . ., θ_{n}) = \sum_{j = 1}^{m} (h_{θ} (x_{0}^{(j)}), x_{1}^{(j)}, . . . x_{n}^{(j)})) - y^{(j)}))^{2} = \sum_{j = 1}^{m} (\sum_{i = 0}^{n} θ_{i} x_{i}^{(j)} - y^{(j)})^{2}$