【初始化爲0】深度學習爲啥不能初始化爲0以及初始化爲0的各種情況表現

定義神經網絡 首先，針對一個四層的神經網絡如下圖，不同情況下進行0初始化； 1、權重w和偏差b全部初始化爲0 如果權重w和偏差b全部被初始化爲0，則first hidden layer到output layer第一次計算全部爲0；然後，再進行權重和偏差使用梯度下降算法更新時， 因爲q爲0，所以權重更新時變化量爲0，但是偏差有所變化，而且每個偏差都不同，再次進行計算時所有層的輸出結果理論上不再爲0；

>>阅读原文<<