梯度下降 和反向傳播推導（公式）

1、訓練算法幾乎都是使用梯度來使得代價函數下降，大多數都是對隨機梯度下降算法的改進。 目標函數關於的梯度是目標函數上升最快的方向。那麼對於最優化問題，只需要將參數沿着梯度相反的方向前進一步就可以實現目標函數的下降，這個步長又稱爲學習率，更新的公式如下：。梯度下降可以根據數據集的不同分爲批量梯度下降、隨機梯度下降和小批量梯度下降。其中，批量梯度下降是在整個訓練集上計算的，如果數據集比較大，可能會面臨

>>阅读原文<<