反向傳播

看了一個對反向傳播講解很詳細的博客，遂決定整理總結一下。 反向傳播的本質就是導數中的連式法則： 該定理的詳細解釋在高數導數內容中，這裏就不論述了。下面將藉助一個全連接神經網絡解釋反向傳播。 如上圖所示，該神經網絡由輸入層、隱藏層、輸出層構成，三層神經網絡，單元數分別爲3、4和3。假設給了m個訓練樣本，第i個輸入輸出對錶示爲： 其中，x和y是3維向量。對於輸入x，我們把g稱作神經網絡的預測（輸出）值

>>阅读原文<<