【深度學習】批歸一化（Batch Normalization）

BN是由Google於2015年提出，這是一個深度神經網絡訓練的技巧，它不僅可以加快了模型的收斂速度，而且更重要的是在一定程度緩解了深層網絡中「梯度彌散」的問題，從而使得訓練深層網絡模型更加容易和穩定。所以目前BN已經成爲幾乎所有卷積神經網絡的標配技巧了。 從字面意思看來Batch Normalization（簡稱BN）就是對每一批數據進行歸一化，確實如此，對於訓練中某一個batch的數據{x1,

>>阅读原文<<