梯度下降和反向傳播

本文主要摘自《神經網絡和深度學習》一書 梯度下降 對於一個很簡單的代價函數： C(w,b)=12∑x||y(x)−a||2 我們把C稱作二次代價函數或者均方誤差或者MSE 我們想要找到一系列能讓代價儘可能小的權重和偏置。採用梯度下降算法達到這個目的。 若求導是負的則可以使得球體向下滾落 △C≈∂C∂v1△v1+∂C∂v2△v2 定義 ▽C 來表示梯度向量， ▽C=(∂C∂v1,∂C∂v2)T 所以

>>阅读原文<<