深度學習中多層全連接網絡的梯度下降法及其變式

深度學習中多層全連接網絡的梯度下降法及其變式 1 梯度下降法 2 梯度下降的變式 1.SGD 2.Momentum 3.Adagrad 4.RMSprop 5.Adam 6.小結 1 梯度下降法 梯度下降法的更新公式如下。 現在通過實際理論證明這樣更新參數能夠達到最優的效果。 希望求解下面這個方程。 也就是說，希望更新參數之後有下面的結果。 泰勒級數（Taylor Series）：對於任何一個無限

>>阅读原文<<