總結最小二乘法——梯度下降法、牛頓法、高斯牛頓法

** 二：最小二乘法 ** 1.定義： 最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和爲最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。 2線性最小二乘的基本公式： 3梯度下降法與最小二乘法與牛頓法比較 梯度下降法

>>阅读原文<<