梯度下降法(GD)與隨機梯度下降法(SGD)的理解

引言: 在深度學習的任務目標中，通常我們希望我們的學習結果能夠在損失函數上得到一個較好的結果，即朝着損失函數最小的方向前進。但是對於大部分深度學習任務而言， 接下來我會用比較通俗易懂的語言來介紹GD、SGD 下一篇：通俗易懂理解（梯度下降）優化算法：Momentum、AdaGrad、RMSProp、Adam 梯度下降法(gradient descent)： 1. 數學理解 首先我們知道梯度方向是函

>>阅读原文<<