爲何不可將神經網絡的參數全都初始化成0？

爲何不可將神經網絡的參數全都初始化成0？ 證明如下：   如圖所示。所以其實可以看出，當你把所有參數都初始化爲0的時候，同一hidden layer的參數的更新幅度是一樣的。又因爲它們的初值也一樣（都是0），所以導致隱藏層的參數永遠一樣，這就意味着你同一隱藏層每個神經元輸入一樣、經過同樣的sigmoid激活，又得到一樣的輸出（設a4=a5=a），然後再乘以一樣的參數。對於圖中x4、x5組成的hid

>>阅读原文<<