最小二乘法與梯度降低法有哪些區別？

一、最小二乘法的目標：求偏差的最小平方和，對應有兩種：線性和非線性。線性最小二乘的解是closed-form即，而非線性最小二乘沒有closed-form，一般用迭代法求解。優化 二、迭代法，即在每一步update未知量逐漸逼近解，能夠用於各類各樣的問題（包括最小二乘），好比求的不是偏差的最小平方和而是最小立方和。spa a）梯度降低是迭代法的一種，能夠用於求解最小二乘問題（線性和非線性均可以）。

>>阅读原文<<