深度學習之參數初始化（一）——Xavier初始化

    我們需要牢記參數初始化的目的是爲了讓神經網絡在訓練過程中學習到有用的信息，這意味着參數梯度不應該爲0。而我們知道在全連接的神經網絡中，參數梯度和反向傳播得到的狀態梯度以及入激活值有關——激活值飽和會導致該層狀態梯度信息爲0，然後導致下面所有層的參數梯度爲0；入激活值爲0會導致對應參數梯度爲0。所以如果要保證參數梯度不等於0，那麼參數初始化應該使得各層激活值不會出現飽和現象且激活值不爲0。我

>>阅读原文<<