梯度下降

爲什麼要使用梯度更新規則 深度神經網絡和反向傳播。目前深度學習方法中，深度神經網絡的發展造就了我們可以構建更深層的網絡完成更復雜的任務，深層網絡比如深度卷積網絡，LSTM等等，而且最終結果表明，在處理複雜任務上，深度網絡比淺層的網絡具有更好的效果。但是，目前優化神經網絡的方法都是基於反向傳播的思想，即根據損失函數計算的誤差通過梯度反向傳播的方式，指導深度網絡權值的更新優化。這樣做是有一定原因的，首

>>阅读原文<<