梯度下降法及其python實現

梯度下降 假設函數 損失函數 （這裏的1/2是爲了後面求導計算方便） 1.批量梯度下降（BGD） 每次參數更新的僞代碼如下： 由上圖更新公式我們就可以看到，我們每一次的參數更新都用到了所有的訓練數據（比如有m個，就用到了m個），如果訓練數據非常多的話，是非常耗時的。 下面給出批量梯度下降的收斂圖： 從圖中，我們可以得到BGD迭代的次數相對較少。 2.隨機梯度下降法（SGD） 由於批梯度下降每跟新一

>>阅读原文<<