PyTorch —— 神經網絡權重初始化

權重初始化 神經網絡從錯誤中學習，但是錯誤要能夠被定位到。如果不能定位到錯誤那麼就無法改正。 對於神經網絡中的參數來說，如果所有參數全部一樣（比如初始化爲全0），那麼就面臨一個問題：梯度往哪裏下降是最快呢？？ 看一個例子 神經網絡很難判斷哪些權重需要更改，因爲每個層級的神經元輸出是一樣的。爲了避免神經元具有相同的輸出，我們使用獨特權重。我們還可以隨機選擇權重，避免每個週期後的損失都陷於局部最低點。

>>阅读原文<<