數據壓縮學習筆記（二）最小二乘法、梯度下降法、牛頓法、高斯牛頓法原理

最小二乘法 最小二乘法的目標是解決函數擬合的問題，對於給定的多組(x,y)：(x1,y1),(x2,y2),(x3,y3)……,(xk,yk) 求得最佳擬合函數的關係。 一般地，這個函數的非線性表示形式爲： 其線性方程組表示爲Y=XA，記作矩陣： 在算法中，優化的目標是讓殘差平方和最小，即： 此時的殘差平方和又可稱爲損失函數。 最小二乘法求解最優化A矩陣的思想就是對每一個係數的導數求導並使其置零。

>>阅读原文<<