深度學習總結(一)——參數初始化

1. 參數初始化的目的是什麼？ 爲了讓神經網絡在訓練過程中學習到有用的信息，這意味着參數梯度不應該爲0。而我們知道在全連接的神經網絡中，參數梯度和反向傳播得到的狀態梯度以及入激活值有關。那麼參數初始化應該滿足以下兩個條件： 初始化必要條件一：各層激活值不會出現飽和現象； 初始化必要條件二：各層激活值不爲0。 2. 把參數都初始化爲0會是比較好的初始化？ 這樣做其實會帶來一個問題，經過正向傳播和反向

>>阅读原文<<