（二）梯度下降(Gradient Descent)

梯度下降(Gradient Descent)   在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降（Gradient Descent）是最常採用的方法之一，另一種常用的方法是最小二乘法。這裏先總結梯度下降。 1. 梯度   在微積分裏面，對多元函數的參數求 ∂ ∂ 偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度。比如函數 f(x,y) f ( x , y ) , 分別對 x

>>阅读原文<<