導數、偏導數、方向導數和梯度的基本介紹

由於誤差反向傳播算法中採用梯度下降算法進行權重更新，因此需要先明白梯度是什麼，而梯度的解釋又要從導數講起，因此本文先大致講解一下導數導數、偏導數、方向導數和梯度的物理意義。 1、導數 根據我們以前的學習，導數的幾何意義表示該點的切線，如果從其物理意義來看，導數表示在自變量變化趨於無窮小的時候，函數值的變化與自變量變化的比值，即變化率。 如果函數中只有一個自變量（即一元函數），那麼表示只存在一個方向

>>阅读原文<<