深度學習入門基於python的的理論與實現(學習筆記).第六章 與學習相關的技巧(第三部分)

6.3 Batch Normalization 在權重的初始化中,我們觀察了各層的激活值分佈,並從中瞭解到如果設定了合適的權重初始值,則各層的激活值分佈會有合適的廣度,從而可以順利地進行學習。那麼爲了使各層擁有適當的廣度,「強制性」地調整激活值的分佈會怎樣呢?Batch Normalization就是基於這個方法而產生的。 Batch Normalization(簡稱Batch Norm)是201
相關文章
相關標籤/搜索