簡單的梯度下降法

求解機器學習算法的模型參數，即無約束優化問題時，梯度下降法是最常採用的方法之一，另一種常用的方法是最小二乘法。這裏對梯度下降法做簡要介紹。 1 梯度 在微積分裏面，對多元函數的參數求∂偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度。 比如函數f(x,y), 分別對x,y求偏導數，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,簡稱grad f(x,y)或者▽f(x,y)。 對於在點

>>阅读原文<<