《動手學深度學習》第十七天---批量歸一化

因爲在看論文的時候設涉及批量歸一化的知識，因此決定提早學這一節。python 那麼進行歸一化有什麼好處呢？ 緣由在於神經網絡學習過程本質就是爲了學習數據分佈，一旦訓練數據與測試數據的分佈不一樣，那麼網絡的泛化能力也大大下降；另一方面，一旦每批訓練數據的分佈各不相同(batch 梯度降低)，那麼網絡就要在每次迭代都去學習適應不一樣的分佈，這樣將會大大下降網絡的訓練速度。 批量歸一化（batch no

>>阅读原文<<