小常識3-深度學習常見梯度下降優化方法總結

1. 三種梯度下降優化框架 有三種梯度下降算法框架，它們不同之處在於每次學習(更新模型參數)使用的樣本個數，每次更新使用不同的樣本會導致每次學習的準確性和學習時間不同。 全量梯度下降(Batch gradient descent)：每次使用全量的訓練集樣本來更新模型參數； 隨機梯度下降(Stochastic gradient descent)：每次從訓練集中隨機選擇一個樣本來進行學習 小批量梯度下

>>阅读原文<<