Batch_Normalization原理理解

1、BN的作用原理 BN往往作用於卷積層之後，激活函數Relu之前，即滿足：conv+BN+Relu。 BN就是調整每層卷積網絡輸出數據的分佈，使其進入激活函數的作用區。激活函數的作用區就是指原點附近的區域，梯度彌散率低，區分率高。同時，BN會在訓練過程中，自己調節數據分佈，使其「更合理」地進入激活函數。 卷積後，數據輸出的分佈會出現下圖的幾種情況。當x<0時，經過激活函數，數據全部沒用，當x>0

>>阅读原文<<