深度學習小白——神經網絡4（梯度檢查）

上一篇討論了神經網絡的靜態部分：如何建立網絡的鏈接、數據和損失函數，這篇將致力於講解神經網絡的動態過程，即學習參數和搜索最優超平面的過程安全 1、梯度檢查網絡 df(x)/dx = (f(x+h)-f(x-h))/2h，其中h是一個很小的數字，且用該公式梯度檢查時，要計算兩次損失函數，可是梯度的近似值會準確不少函數 在對比數值梯度和解析梯度時，採用相對偏差比較好 |f'n-f'a|/max{f'n

>>阅读原文<<