神經網絡的參數爲什麼不能初始化爲全零

訓練神經網絡時，隨機初始化權重非常重要。對於Logistic迴歸，可以將權重初始化爲零，但如果將神經網絡的各參數全部初始化爲0，再使用梯度下降法，這樣將會完全無效。 如圖所示，這是一個簡單的兩層神經網絡(輸入層是第0層)，如果將所有的w矩陣和b向量都初始爲全0 則矩陣  是 是     是 將偏置項b初始化爲0實際上是可行的，但把W初始化成全零就成問題了，它的問題在於給神經網絡輸入任何的樣本，隱藏

>>阅读原文<<