深度學習總結（一）

深度學習總結（一） 1、經典優化算法 （1）一階迭代法（又稱梯度下降法）： （2）二階迭代法（牛頓法）： 一般在神經網絡裏面，L()函數就是代價函數。 2、不同梯度下降法 （1） 經典梯度下降法 （2）隨機梯度下降法 隨機梯度下降法可以解決經典梯度下降法數據量大，計算量大，耗時長的問題。 但是對於SGD來說，局部最小還不是最可怕的，在陷入鞍點（鞍點的形狀像是一個馬 鞍，一個方向上兩頭翹，另一個方向

>>阅读原文<<