神經網絡權(BP)值初始化相同權值的影響

權值初始化問題 在對神經網絡權值初始化時,大家都會選擇將其隨機初始,如果全賦值爲相同數,則會破壞不對稱,不應該這樣。但如果我們偏要初始化一樣,那麼會發生什麼呢? 從傳遞公式上,可以明確,前向傳播中,每層的神經網絡節點輸出值都一樣【權值初始化爲0比較特殊,我在下文中會對這種情況做詳細分析】(這裏有個前提:BP網絡爲全連接,且加入了激活函數,激活函數爲sigmod函數),那反向傳遞時,其權值偏導值應該
相關文章
相關標籤/搜索