機器學習------批歸一化(Batch Normalization, BN)

  取自孫明的"數字圖像處理與分析基礎"   從字面意思上理解Batch Normalization就是對每一批數據進行歸一化,確實如此,對於訓練中某一個batch的數據{ x1 x 1 , x2 x 2 , ……, xn x n },注意這個數據可以是輸入也可以是中間某一層的輸出,BN的前3步如下:    μ←1m∑i=1mxi μ ← 1 m ∑ i = 1 m x i    σ2=1m∑i=
相關文章
相關標籤/搜索