神經網絡的歸一化（Normalization）

    深度學習中的數據分佈偏移：深度神經網絡涉及到很多層的疊加，而每一層的參數更新會導致上層的輸入數據分佈發生變化，通過層層疊加，高層的輸入分佈變化會非常劇烈。雖然神經網絡的各層的輸入信號分佈不同，但最終「指向「的樣本標記是不變的，即邊緣概率不同而條件概率一致。     爲 了降低分佈變化的影響，可使用歸一化策略Normalization，把數據分佈映射到一個確定的區間。     神經網絡中，常

>>阅读原文<<