神經網絡中參數的初始化問題

文章目錄 1. 爲什麼神經網絡不能初始化權重W爲0？ 2. 隨意初始化爲非零的權重是否可行? 3. 如何解決神經網絡中參數初始化問題？ 1. 爲什麼神經網絡不能初始化權重W爲0？ 參考博客 2. 隨意初始化爲非零的權重是否可行? 答案肯定是不行的！ 隨意的初始化權重可能會導致梯度爆炸和梯度消失。例如當神經網絡爲線性的，我們初始化所有參數W=0.1或者W=0.9，都會造成指數級影響 3. 如何解決神

>>阅读原文<<