深度學習中神經網絡的幾種權重初始化方法

       在深度學習中，神經網絡的權重初始化方法對（weight initialization）對模型的收斂速度和性能有着至關重要的影響。說白了，神經網絡其實就是對權重參數w的不停迭代更新，以期達到較好的性能。在深度神經網絡中，隨着層數的增多，我們在梯度下降的過程中，極易出現梯度消失或者梯度爆炸。因此，對權重w的初始化則顯得至關重要，一個好的權重初始化雖然不能完全解決梯度消失和梯度爆炸的問題，

>>阅读原文<<