隨筆小計-batchnormalization

1、爲什麼需要BatchNormalization 網絡訓練開始後，參數會發生更新操作，除了輸入層的數據外，後面每一層的輸入數據都在發生着變化，前面層訓練參數更新，後面層輸入的數據分佈必然變化，出現了covariate shift問題，可能會導致blow up和模型不準確的問題。 2、BatchNormalization怎麼解決的 解決方法 針對一個batch的數據處理 求該batch的均值 求該

>>阅读原文<<