莫煩視頻筆記--爲什麼要批標準化(Batch Normalization)?

Batch Normalization批標準化和普通的數據標準化類似,是將分散的數據統一的一種做法,也是優化神經網絡的一種方法。在之前normalization的簡介視頻中我們提到具有統一規格的數據能讓機器學習更容易學到數據之間的規律。 在神經網絡中,數據分佈對訓練會產生影響,比如某個神經元x的值爲1,某個weights的初始值爲0.1,這樣後一層神經元計算的結果就是Wx=0.1,又或者x=20,
相關文章
相關標籤/搜索