各種梯度下降算法的區別

1.批量梯度下降算法使用所有樣本，先累加求和再求平均值。需要的迭代次數相對較少，但是如果樣本量很大的話，計算速度會很慢。   2.隨機梯度下降算法每次只使用一個樣本，則選取的方向會比較隨機，因而得名。但是收斂速度較慢，迭代次數會比較多。   3.小批量梯度下降算法則介於上述二者之間，使用部分樣本，是一個折中的辦法。   參考： https://zhuanlan.zhihu.com/p/257657

>>阅读原文<<