【ML】梯度下降、隨機梯度下降與批梯度下降算法之間的比較

這三種算法都用於反向傳播的優化損失函數算法。在每輪迭代中更新一次權重w，根據多次迭代，最終無限的靠近我們預期的權重最優值。batch GD, mini-batch GD, SGD都可以看成SGD的範疇， 只不過區別在於每次取多少的樣本了。 1. 梯度下降算法： 主要優點：梯度更新準確 (1) 如果數據集比較小，完全可以採用全數據集(Full Batch Learning)的形式，採用全數據有兩個好

>>阅读原文<<