BN——Batch Norm原理Batch Normalization,Accelerating Deep Network Training

參考論文 「Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift「   1, 深度網絡訓練在實際中是複雜的, 在訓練期間,隨着前面層參數的變化,每一層輸入分佈也會隨之發生變化(不是真實的輸入分佈)。——>內部協方差偏移 這使得訓練會變得更慢,所以需要更低的學習率和更精
相關文章
相關標籤/搜索