隨機梯度算法(SGDOptimizer)

隨機梯度算法(SGDOptimizer) 隨機梯度算法是神經網絡中最常見的一種優化算法。主要是依據的梯度下降原理 設置要預測的函數爲： 損失函數爲： 則要使損失函數最小，我們可以使損失函數按照它下降速度最快的地方減小，因此需要在此列出損失函數的求導公式： 同時由於選用這種方法，可能會陷入局部最小值的問題，同時收斂的速度可能較慢 所以選用SGD，每次更新的時候使用一個樣本進行梯度下降，所謂的隨機二字

>>阅读原文<<