神經網絡權（BP）值初始化相同權值的影響

權值初始化問題 在對神經網絡權值初始化時，大家都會選擇將其隨機初始，如果全賦值爲相同數，則會破壞不對稱，不應該這樣。但如果我們偏要初始化一樣，那麼會發生什麼呢？ 從傳遞公式上，可以明確，前向傳播中，每層的神經網絡節點輸出值都一樣【權值初始化爲0比較特殊，我在下文中會對這種情況做詳細分析】（這裏有個前提：BP網絡爲全連接，且加入了激活函數，激活函數爲sigmod函數），那反向傳遞時，其權值偏導值應該

>>阅读原文<<