深度學習入門筆記手稿（八）梯度檢驗

深度學習入門筆記手稿（八）梯度檢驗 梯度檢驗 梯度檢驗 在實施backprop時有一個測試叫做梯度檢驗。是用來檢查梯度是否約等於使用雙邊誤差來逼近的導數。 具體過程如下： 1.首先不要在訓練中使用梯度檢驗，它只用於調試，爲了實施梯度下降，必須使用backprop計算導數。 2.如果檢驗失敗，要檢查所有項。要確定出問題的導數 3在檢驗時，如果使用了正則化，則導數也一定包含正則項 4，梯度檢驗不能與d

>>阅读原文<<