Batch normalization理解

學習時候發現了有的網絡結構中將BN作爲單獨的一層進行設計,因此學習了一下BN。 1. Batch normalization理解 BN可以作爲激活層之前一層,將輸入數據進行標準化,  BN計算公式如下:  其中,E[x]爲均值,sqrt(var)爲標準差,可知BN層的輸出其實是將輸入的數據標準化成爲均值爲0方差爲1的正態分佈。   這樣做的原因呢?   這裏我們假設使用sigmoid函數作爲網絡激
相關文章
相關標籤/搜索