吳恩達-coursera-機器學習測試題第五週

      如果我們使用梯度下降作爲我們的優化算法，那麼梯度檢查是很有用的。但是，如果我們使用的是高級優化方法之一（比如fminunc），它幾乎沒有什麼作用。   假設我們有一個正確的反向傳播的實現，並且使用梯度下降來訓練一個神經網絡。假設我們把J（Theta）J（）作爲迭代次數的函數，並且發現它是遞增的而不是遞減的。一個可能的原因是，學習速率太大了。

>>阅读原文<<