最小二乘法之梯度下降法、牛頓法和高斯牛頓法理解

最小二乘法是一種數學優化技術。他的基本思路是通過最小化誤差的平方和從而最大化的擬合與數據匹配的函數表達式。不僅如此，通過最小二乘法還可以求出未知數據的大概數值等。 最小梯度法： 首先先明確一下梯度的概念，我們先從簡單入手，假設有一個二元函數f(x,y)，這個函數的梯度表達式如下： 我們可以注意到，這個表達式相當於將關於x和y的一個向量映射爲了x關於f(x,y)的偏導和y關於f(x,y)的偏導的一個

>>阅读原文<<