反向傳播

神經網絡大致可以分成三部分：前向傳播、反向傳播、參數更新。 前向傳播是指有一個輸入經過神經網絡中的各個層之後計算出LOSS值（在之前的文章已經詳細講解計算過程） 反向傳播是指從LOSS值往回看在神經網絡中各個參數應該朝着什麼方向去調節能夠使得結果是朝着優化的方向去的，（也就是求梯度下降方向）。 參數更新就是沿着剛剛求出來的梯度反方向乘上一個步長或者學習率實際的對參數進行更新。 這裏我們用一個簡單的

>>阅读原文<<