【DL-CV】更高級的參數更新/優化（一）

後續【DL-CV】更高級的參數更新/優化（二）算法 【DL-CV】正則化，Dropout<前篇---後篇>【DL-CV】淺談GoogLeNet（咕咕net）segmentfault 原版SGD的問題 原味版的SGD（如下稱SGD）是經過死跟負梯度方向來對參數進行更新的，也就是走一步、停下肯定方向、再走一步，如此循環。很是簡單，很是老實的走法不是麼？可是SGD這個相對簡單的算法在實際使用中仍是會產生

>>阅读原文<<