【深度學習】深度學習權重初始化

本文對CS231中的Training Neural Networks的權重更新部分進行記錄 權重的初始化在深度神經網絡中起着比較大的重要，算是一個trick，但在實際應用上確是個大殺器。 1. 如果一開始把網絡中的權重初始化爲0，會發生什麼？ 因爲權重初始爲0， 由於網絡中的神經元的更新機制完全相同，由於網絡的對稱性，會產生各個layer中產生相同的梯度更新，導致所有的權重最後值相同，收斂會出現問

>>阅读原文<<