總結最小二乘法、梯度下降、牛頓法、高斯牛頓法

一：線性預測器設計相關推導 二：最小二乘法 基本思想：最小二乘法則是一種統計學習優化技術，它的目標是最小化誤差平方之和來作爲目標，從而找到最優模型，這個模型可以擬合（fit）觀察數據。 迴歸學習最常用的損失函數是平方損失函數，在此情況下，迴歸問題可以用著名的最小二乘法來解決。最小二乘法就是曲線擬合的一種解決方法。 最小二乘法的問題分爲兩類： 線性最小二乘法 非線性最小二乘法 如果是線性的則有閉式解

>>阅读原文<<