CS231n學習筆記--2.NN2

1.不能將神經網絡所有的權重都初始化爲0，這樣會導致所有的神經元輸出都是相同的，進而在反向傳播時所有的導數就都是相同的，導致所有的參數更新也是相同的。 2.還有其他很多初始化方法，batchnorm在一定程度上能夠緩解初始化不好的情況。 3.關於BN，總結幾點（來源於https://blog.csdn.net/malefactor/article/details/51476961）： (1)BN的

>>阅读原文<<