深度學習總結(一)

深度學習總結(一) 1、經典優化算法 (1)一階迭代法(又稱梯度下降法): (2)二階迭代法(牛頓法): 一般在神經網絡裏面,L()函數就是代價函數。 2、不同梯度下降法 (1) 經典梯度下降法 (2)隨機梯度下降法 隨機梯度下降法可以解決經典梯度下降法數據量大,計算量大,耗時長的問題。 但是對於SGD來說,局部最小還不是最可怕的,在陷入鞍點(鞍點的形狀像是一個馬 鞍,一個方向上兩頭翹,另一個方向
相關文章
相關標籤/搜索