神經網路權重初始化方式

在開始訓練網絡之前，還需要初始化網絡的參數。方式有：        錯誤：全零初始化。讓我們從應該避免的錯誤開始。在訓練完畢後，雖然不知道網絡中每個權重的最終值應該是多少，但如果數據經過了恰當的歸一化的話，就可以假設所有權重數值中大約一半爲正數，一半爲負數。這樣，一個聽起來蠻合理的想法就是把這些權重的初始值都設爲0吧，因爲在期望上來說0是最合理的猜測。這個做法錯誤的！因爲如果網絡中的每個神經元都計

>>阅读原文<<