機器學習的幾種常用的梯度下降

以線性迴歸爲代表的，我們進行模型訓練時常採用梯度下降的方法，包括隨機梯度下降（SGD）批量梯度下降（BGD）小批量梯度下降（MBGD） 假設線性迴歸模型爲： 對應的損失函數爲： 二維參數對應的效果圖如下： 1.BGD 我們的目的是要誤差函數儘可能的小，即求解weights使誤差函數儘可能小。首先，我們隨機初始化weigths，然後不斷反覆的更新weights使得誤差函數減小，直到滿足要求時停止。這

>>阅读原文<<