Batch normalization分析

Batch normalization分析 爲簡潔起見，下文中將batch normalization簡寫爲BN 優點： BN使得訓練過程中可以用更大的學習率，加速學習過程 網絡引入BN之後，可以利用sigmoid函數，使得容易出現的梯度淹沒問題得到了解決。 在此基礎上出現了layer normalization和weighted normalization 缺點： 雖然技術成熟，但在實踐過程中也

>>阅读原文<<