批量歸一化BatchNorm

爲什麼使用歸一化 對一sigmoid的函數來說，處在邊角位置的點更新慢，並且離散度高不利於聚合。 Nomalization將輸入的值控制在有效的範圍之內。得到以0爲均值，1爲方差的值。 不進行歸一化的化，loss函數求解梯度左圖較比之右圖更加的曲折。 pytorch實現歸一化 不同Norm選取方式 藍色爲一次選取的一個Norm。 BN 對於三個通道作爲BN，z爲BN公式 pytorch實現 2d的

>>阅读原文<<