初學深度學習——詳解BP神經網絡與反向傳播算法推導過程

一.梯度下降優化算法 首先我們先來介紹一下什麼是梯度，BP神經網絡反向傳播的過程就是對權值 w i j w_{ij} wij​進行更新的的過程，而更新權值則離不開梯度的計算。 大學時我們學過怎樣求函數 y = f ( x ) y=f(x) y=f(x)的極值。函數的極值點，就是它的導數 f ′ ( x ) = 0 f '(x)=0 f′(x)=0的那個點。因此我們可以通過解方程 f ′ ( x )

>>阅读原文<<