【caffe轉向pytorch】caffe的BN層+scale層=pytorch的BN層

caffe裏面用BN層的時候通常後面接一下scale層，原因如下： caffe 中爲什麼bn層要和scale層一起使用 這個問題首先你要理解batchnormal是做什麼的。它其實做了兩件事。 1) 輸入歸一化 x_norm = (x-u)/std, 其中u和std是個累計計算的均值和方差。 2）y=alpha×x_norm + beta，對歸一化後的x進行比例縮放和位移。其中alpha和beta

>>阅读原文<<