【caffe】SGD模式調參概念理解

1、SGD概念理解？ 批量隨機梯度下降，對小批量數據進行梯度計算，均值作爲運動方向和幅度： 2、caffe設置SGD的方法是什麼？對應的公式是什麼？ caffe的是通過solver.prototxt來傳遞參數的，如下圖所示： 具體的公式在alexnet論文裏面給出的很形象，如下圖所示： 3. momentum和decay的意義分別是什麼？ momentum：動量操作，就是以上一次的運動爲依據，避免

>>阅读原文<<