深度學習中的歸一化

定義 逐層歸一化（Layer-wise Normalization）是將傳統機器學習中的數據歸一 化方法應用到深度神經網絡中，對神經網絡中隱藏層的輸入進行歸一化，從而使 得網絡更容易訓練。 爲什麼需要歸一化 緩解內部協變量偏移問題【具體解釋看這個】 簡單來說，層層網絡，各種變換，數據分佈會帶來很大變化， 就是每一點偏移累計起來就多了。使得高層需要很精細的訓練才能適應底層。 使得輸入處於不飽和區域，

>>阅读原文<<