Batch Normalization的理解

首先在神經網絡中，每一層網絡結構都會有一個激活函數，以我們比較常見的sigmoid函數爲例，我們可以看看sigmoid激活函數的圖像如圖所示： 我們試想一下，如果這個時候某個神經元的輸入爲4，那麼經過sigmoid函數之後，這個神經元的輸出是 y = 0.982 y=0.982 y=0.982，如果神經元的輸入爲20，經過sigmoid函數之後，神經元的輸出是 y = 0.999 y=0.999

>>阅读原文<<