批量歸一化——Batch Normalization

1.概述 在神經網絡的訓練中，我們有很多的參數如學習率、權重衰減係數等，我們使用隨機梯度下降法等時，往往需要對這些參數不斷調整，這將會花費我們大量的時間。這種情況下使用批量歸一化能很好地解決這種問題。 批量歸一化即通過歸一化、縮放及平移使得數據變爲滿足或近似高斯形式的分佈。我們知道在神經網絡訓練開始前，這是因爲神經網絡學習過程本質就是爲了學習數據分佈，一旦訓練數據與測試數據的分佈不同，那麼網絡的泛

>>阅读原文<<