最小二乘法--梯度下降法 牛頓法 高斯牛頓法

推導過程 最小二乘法 最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和爲最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。 梯度下降法 關於梯度下降算法的直觀理解，我們以一個人下山爲例。比如剛開始的初始位置是在紅色的山

>>阅读原文<<