反向傳播和梯度下降的關係

1 梯度下降法（Gradient Descent Algorithm） 梯度下降法是一種通用的優化算法，中心思想是沿着目標函數梯度的方向更新參數值以希望達到目標函數最小（或最大）。梯度下降法是深度學習網絡最常用的優化算法。除了深度學習，很多其他場合也會用梯度下降法。 我們需要到達山底，就需要在每一步觀測到此時最陡峭的地方，梯度就恰巧告訴了我們這個方向。梯度的方向是函數在給定點上升最快的方向，那麼梯

>>阅读原文<<