BP反向傳播

這裏簡單記錄一下神經網絡bp反向傳播的過程 首先最普通的神經網絡，拋開最後輸出的損失函數，以及激活層，其隱藏層之間其實就是很多個線性迴歸y=wx+b組成的 那麼，思考下線性迴歸的權重更新方式，直接計算法，和梯度下降（我們做機器學習或者深度學習，肯定是迭代過程，爲梯度下降，而且當維度太高時，直接計算法會導致維度爆炸無法計算）。那麼我們可不可以在多層的神經網絡裏面延續梯度下降的方式來對權重進行更新呢？

>>阅读原文<<