2.1.5 梯度檢驗

梯度的數值逼近 當實施反向傳播的時候，有一個測試叫做梯度檢驗，它的作用是保證反向傳播可以正確實施。在寫好反向傳播公式的時候，你沒有辦法保證執行反向傳播的所有細節全部都是正確的。爲了實現逐步梯度檢驗，我們先來說一下如何對梯度做數值逼近。 如圖所示，我們只需記住，雙邊檢測誤差更低，精度更高。 那麼爲什麼是平方誤差關係呢，這裏用到了泰勒展開式，做差所得，我們先來複習一下泰勒展開式的知識 然後這個公式的推

>>阅读原文<<