關於反向傳播我聽到最好的解釋

首先,chain rule瞭解一下: C是y_和y的距離(也可以理解爲損失函數) C對w求偏微分,有兩部分,一部分是forward ,一部分是backward. 如何計算forward pass,非常簡單,就是input. 舉個例子: 接下來看backward pass: 將上圖與下圖對比,就可以看出backward的含義了,如果我們最最後面開始往前算,一步一步,就相當於反向傳播了。
相關文章
相關標籤/搜索