由selu和Batch Normalization談深度學習的歸一化問題

爲什麼深度學習需要歸一化 一個標準的歸一化步驟就是減均值除方差，如下圖，就是把數據集中分佈的位置從其它地方，移到中心，注意這個數據是可以輸入也可以是網絡中間的某一層輸出 那麼我們爲什麼希望數據集中分佈在中央，像正態分佈一樣呢，我認爲，大多數激活函數都是在中央位置曲線更平滑，斜率變動不會過大過小，能解決梯度消失和梯度爆炸問題。 selu和Batch Normalization BN是批歸一化，簡單說

>>阅读原文<<