Batch Normalization 學習筆記

顧名思義，batch normalization嘛，即「批規範化」，主要作用是爲了防止「梯度彌散」。關於梯度彌散，舉個很簡單的例子，。 1. BN原理 B有人可能會說，BN不就是在網絡中間層數據做一個歸一化處理嘛，這麼簡單的想法，爲什麼之前沒人用呢？然而其實實現起來並不是那麼簡單的。其實如果僅僅對網絡某一層A的輸出數據做歸一化，然後送入網絡下一層B，這樣是會影響到本層網絡A所學習到的特徵的。打個比

>>阅读原文<<