神經網絡參數初始化

    神經網絡參數的初始化，在網絡層數很深的情況下變得尤爲重要。如果參數初始化的過小，很可能導致網絡每一層的輸出爲都接近於0，那麼可以這樣認爲每一層的輸入都會很接近於0，在進行反向傳播的時候，假如我們要更新某一層的參數W，該層的輸出是g（WX）暫且先不考慮偏置項，則求W的梯度就會是：上一層的梯度 * 該層對g的梯度 * X，由於每層的輸入都很小所以梯度就會很小，從而導致參數更新很慢，隨着層數的增

>>阅读原文<<