深度學習——BatchNormalization layer

神經網絡在訓練過程中往往會遇到一些問題： 問題1: 隨着網絡訓練，淺層的權重發生變化，導致深層的輸入變化很大。因此每層必須根據每批輸入的不同分佈重新調整其權重。這減緩了模型訓練。如果我們可以使層的輸入分佈更相似，那麼網絡可以專注於學習類別之間的差異。不同批次分佈的另一個影響是梯度彌散。梯度彌散是一個大問題，特別是對於S形激活函數（sigmoid）。如果g(x)表示sigmoid激活函數，隨着 |x

>>阅读原文<<