深度學習《CNN架構續篇 - BatchNorm》

一：batch Normalization BN算法的靈感來自於對圖像的白化操作，白化就是對輸入圖像數據分原始分佈規律轉換到N（0~1）的分佈，這樣會使得收斂速度變快。 在深度網絡中每一隱藏層的輸入都可以做這樣的白化處理呢？ 隨着網絡深度的增加，收斂變慢的的原因還有就是數據的分佈會變得越來越畸形，數據分佈法還是能移動，這也是會導致梯度消失的原因，因此在每個隱藏層如果都做一個Normalizatio

>>阅读原文<<