Batch Normalization的理解

首先在神經網絡中，每一層網絡結構都會有一個激活函數，以咱們比較常見的sigmoid函數爲例，咱們能夠看看sigmoid激活函數的圖像如圖所示： 咱們試想一下，若是這個時候某個神經元的輸入爲4，那麼通過sigmoid函數以後，這個神經元的輸出是 y = 0.982 y=0.982 y=0.982，若是神經元的輸入爲20，通過sigmoid函數以後，神經元的輸出是 y = 0.999 y=0.999

>>阅读原文<<