反向傳導算法筆記

反向傳播算法的思路如下：給定一個樣例 ，我們首先進行「前向傳導」運算，計算出網絡中所有的激活值，包括  的輸出值。之後，針對第  層的每一個節點 ，我們計算出其「殘差」 ，該殘差表明了該節點對最終輸出值的殘差產生了多少影響。對於最終的輸出節點，我們可以直接算出網絡產生的激活值與實際值之間的差距，我們將這個差距定義爲  （第  層表示輸出層）。對於隱藏單元我們如何處理呢？我們將基於節點（譯者注：第 

>>阅读原文<<