神經網絡初始化權重方法

神經網絡參數的初始化   對於神經網絡中的參數，如權重和偏置，往往我們需要初始化，最常規的方法就是正態分佈初始化這些參數，但是採用什麼均值和方差的正態分佈初始化參數卻是需要仔細考慮的。   上一篇博文講述瞭如何防止網絡訓練在最後一層出現飽和，導致參數更新緩慢的問題，就是使用了交叉熵損失函數，但是這隻能對輸出層有效，對於其他層卻還是有可能出現這個問題。 （1）未合理初始化帶來的問題   假如所有參數

>>阅读原文<<