機器學習筆記（8）— 反向傳播（BP網絡）

本文主要介紹反向傳播的代價函數，應用過程，梯度檢測、以及前向和反向的區別等內容。 1.反向傳播 我們使用反向傳播計算導數項（爲了求最小代價函數，可以對比梯度下降法導數的作用）。反向傳播，就是對每一個節點求誤差。根據反向傳播的定義： 其中，δ j^((i))代表第i層，第j個節點的誤差，代表第i層，第j個節點的擬合結果，yi代表實際值。 將上式寫成向量形式爲： 我們以上邊的4層網絡爲例： 表示整個網

>>阅读原文<<