總結最小二乘法，梯度下降法，牛頓法和高斯牛頓法

一.作業推導 二.最小二乘法 最小二乘法指通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和爲最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。 線性最小二乘法滿足以下基本公式： 考慮超定方程組（超定指方程個數大於未知量個數）： 其中m代表有m個等式，n代表有 n 個未

>>阅读原文<<