「梯度下降法」理解

在學習神經網絡的時候，反向傳播，通常會用到梯度下降法去更新權值使得在不斷迭代的過程中使得每層網絡權值不斷調整直到損失函數落入最小值（局部或全局）。 梯度下降法的基本公式是： w:=w−η▽E 其中 E 爲損失函數， η 爲步長，下面解釋上式如何理解，需要從方向導數開始講起。 方向導數 偏導數反映的是函數研座標軸方向的變化率，但僅考慮函數沿座標軸方向但變化率是不夠的。例如熱空氣要向冷空氣的地方流動，

>>阅读原文<<