關於BN層的一點理解

一直以來對BN層兩個學習參數belta和gamma不太理解，今天又在知乎問題上看到了「請問batch_normalization作了normalization後爲何要變回來？」這個問題，題主好像跟我以前想的同樣（笑）。因而認真查閱了相關資料，獲得如下一點看法：學習  Internal Covariate Shift（ICS）[1]：對 DNN 某一層，隨着 GD 訓練的過程當中參數的改變，該層的輸

>>阅读原文<<