學習筆記-利用Gradient Checking檢查神經網絡模型

利用Gradient Checking檢查神經網絡模型 在搭建完神經網絡模型後怎樣判斷中間有沒有bug呢？這就要用到Gradient Checking了。 一般前向傳播網絡的計算不容易出錯，而在計算反向傳播網絡的過程中很容易出錯。 學過微積分的都知道，某一點的導數可以用以下公式近似表示： ∂J∂θ=limε→0J(θ+ε)−J(θ−ε)2ε 因此我們只要比較近似值（gradapprox）與實際值（

>>阅读原文<<