爲什麼神經網絡參數不能全部初始化爲全0？

假設我們現在需要初始化的神經網絡如下所示： 我們初始化權值爲 其中W1代表輸入層到隱藏層的權值矩陣，W2代表隱藏層到輸出層的權值矩陣。 假設網絡的輸入爲[x1,x2,x3]，然後通過網絡的正向傳播，可以得出： 由於 我們可以知道: 從上面可以知道，此時隱藏層的值是相同的，然後經過激活函數f後，得到的a4,a5仍然是相同的，如下： 最終網絡的輸出爲： 此時，假設我們的真實輸出爲y,則均方誤差損失函數

>>阅读原文<<