【機器學習與深度學習理論要點】12.神經網絡權重初始值如何設置？

在神經網絡的學習中，權重的初始值特別重要。實際上，設定什麼樣的權重初始值，經常關係到神經網絡的學習能否成功。 1）權重初始值不能設置爲0 如果把權重初始值全部設爲0，在誤差反向傳播法中，所有的權重值都會進行相同的更新，神經網絡將無法正常學習。比如，在2層神經網絡中，假設第1層和第2層的權重爲0。這樣一來，正向傳播時，因爲輸入層的權重爲0，所以第2層的神經元全部會被傳遞相同的值。第2層的神經元中全部

>>阅读原文<<