BatchNorm（Pytorch ）

爲何使用BN？ 若是不進行Batch Norm，若是輸入weight差異過大，在兩個方向進行梯度降低，會出現梯度降低不平衡，在訓練過程當中不能穩定的收斂。python 目前已知的Normalization的方法有4種，對於輸入數據爲[,C,(H*W)](N表明tensor數量，C表明通道，H表明高，W表明寬。web Batch Norm:對每個批次（N個tensor）的每一個通道分別計算均值mea

>>阅读原文<<