BGD/SGD/MBGD-梯度下降算法

BGD（Batch Gradient Descent） 批量梯度下降法是梯度下降法最原始的形式，它的具體思路是在更新每一參數時都使用所有的樣本來進行更新。它得到的是一個全局最優解，批量梯度下降法在更新每一個參數時，即每迭代一步，都要用到訓練集所有的數據，訓練過程會隨着樣本數量的加大而變得異常的緩慢。 優點：全局最優解；易於並行實現； 缺點：當樣本數目很多時，訓練過程會很慢。 從迭代的次數上來看，B

>>阅读原文<<