計算機視覺（二）

反向傳播 1、實質就是一個利用鏈式法則求梯度的過程，在實際中，參數的計算會及其複雜，此時如果利用公式來計算梯度非常麻煩，所以可以利用反向傳播，所謂的反向傳播，其實可以利用計算圖來解釋，當進行前向傳播時，我們將每一步的結果進行存儲，進行反向傳播時，我們只需要利用鏈式法則計算每一步的梯度即可，這樣可以利用原來存儲的前向傳播的值，一直將所有的梯度計算出來。 2、梯度與權值矩陣的大小相同，這是因爲梯度本身

>>阅读原文<<