梯度下降法的三種形式-BGD、SGD、MBGD

 在應用機器學習算法時，我們通常採用梯度下降法來對採用的算法進行訓練。其實，常用的梯度下降法還具體包含有三種不同的形式，它們也各自有着不同的優缺點。 下面我們以線性迴歸算法來對三種梯度下降法進行比較。 一般線性迴歸函數的假設函數爲：                     對應的損失函數爲：                       下圖爲一個二維參數（θ0和θ1）組對應能量函數的可視化圖：  

>>阅读原文<<