梯度下降原理小結

  在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降（Gradient Descent）是最常採用的方法之一，另一種常用的方法是最小二乘法。這裏就對梯度下降法做一個完整的總結。 1.梯度   在微積分裏，對於多元函數的參數求 ∂ \partial ∂偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度。比如函數 f ( x , y ) f(x,y) f(x,y)，分別對 x ,

>>阅读原文<<