梯度下降（Gradient Descent）（一）

  梯度下降法（gradient descent）或最速下降法（steepest descent）是求解無約束優化問題的一種最常用的方法，實現簡單，屬於一階優化算法，也是迭代算法。 1.梯度   在微積分中，對多元函數的參數求偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度。比如函數 f(x,y) f ( x , y ) ，分別對 x,y x , y 求偏導數，求得的梯度向量就是 (∂

>>阅读原文<<