【PyTorch學習筆記】19：Batch Normalization

歸一化(Normalization) 簡述 現在常使用ReLU函數，避免梯度彌散的問題，但是有些場合使用Sigmoid這樣的函數效果更好（或者是必須使用），如Sigmoid函數當函數值較大或者較小時，其導數都接近0，這會引起梯度彌散，所以要將輸入控制在一個較好的範圍內，這樣才避免了這種問題。 Batch Normalization就是爲了解決這個需求的，當將輸出送入Sigmoid這樣的激活函數之前

>>阅读原文<<