深度學習《CNN架構續篇 - BatchNorm》

一:batch Normalization BN算法的靈感來自於對圖像的白化操作,白化就是對輸入圖像數據分原始分佈規律轉換到N(0~1)的分佈,這樣會使得收斂速度變快。 在深度網絡中每一隱藏層的輸入都可以做這樣的白化處理呢? 隨着網絡深度的增加,收斂變慢的的原因還有就是數據的分佈會變得越來越畸形,數據分佈法還是能移動,這也是會導致梯度消失的原因,因此在每個隱藏層如果都做一個Normalizatio
相關文章
相關標籤/搜索