14天動手學深度學習-Task2

一、梯度消失、梯度爆炸以及Kaggle房價預測 隨機初始化模型參數 在神經網絡中，通常需要隨機初始化模型參數。下面我們來解釋這樣做的原因。 如果將每個隱藏單元的參數都初始化爲相等的值，那麼在正向傳播時每個隱藏單元將根據相同的輸入計算出相同的值，並傳遞至輸出層。**在反向傳播中，每個隱藏單元的參數梯度值相等。因此，這些參數在使用基於梯度的優化算法迭代後值依然相等。**之後的迭代也是如此。在這種情況下

>>阅读原文<<