梯度檢測

梯度檢測是用來驗證反向傳播算法的正確性的。 當θ是實數的時候，我們求該點的導數時的運算過程如下： 當θ爲向量時，我們求導數的過程就變成了對各個θ求偏導數： 梯度檢測的過程：之前學過的反向傳播算法的過程就是不斷地求導，梯度檢測就是通過求偏導數，驗證結果是否與之前反向傳播算法得到的結果是一樣的或者相差很小。   整個算法的實現過程：  首先運用反向傳播算法求出DVec，這個運用梯度檢測算法求出grad

>>阅读原文<<