理論結合實際：如何調試神經網絡並檢查梯度

 當我們實現神經網絡時，反向傳播的過程中更容易出錯。 因此，如果我們能夠實現一些使我們能夠輕鬆調試神經網絡的工具，那將是多麼酷。 在這裏，我們將看到「梯度檢查」的方法。 簡而言之，該方法使用數值方法近似梯度。 如果實際的梯度接近計算得出的梯度，則可以正確實施反向傳播。 還有很多其他方法，讓我們一起看看。 有時，可以看到網絡在幾個epoch內陷入僵局，然後繼續快速收斂。 我們還將看到如何解決這個問題

>>阅读原文<<