DeepLearning.ai學習筆記——改善深層神經網絡：超參數調試、正則化以及優化（二）

1.梯度消失/梯度爆炸(Vanishing/Exploding gradients) 產生原因：在訓練神經網絡的時候，導數或者坡度會突變，這與深度網絡中權重的設置或者層數的設置喲很大關係，權重過大或者過小會造成後續的激活函數指數級進行遞減或者爆炸式增長。 解決辦法：對於神經網絡權重值進行初始化。 2.神經網絡的權重初始化 設置某層的權重矩陣爲w_[l] = np.random.randn(shap

>>阅读原文<<