[AI 筆記] Batch Normalization批量歸一化

[AI 筆記] BatchNormalization批量歸一化 Batch Normalization 參考資料: CS231n Batch Normalization 批量歸一化(Batch Normalization),用於對神經元的輸入進行歸一化處理,使其符合高斯分佈(不一定),解決飽和問題帶來的梯度消失問題。 它一般被放置在全連接層或者卷積層之後,激活函數之前。如下圖所示。其中右下角的公式
相關文章
相關標籤/搜索