Batch Normalization本質：平滑優化空間

相信BN層對大家來說並不陌生，今天除了講解BN被大家說的比較多的東西外會講一下BN真正work的本質。今天之所以來講解BN是因爲早上聽了一個曠視的講座，聽完之後發現曠視研究院在今年1月19日發表的用來解決小批量訓練BN不穩定的問題論文：MABN。這對於一般用自己電腦來訓練網絡的我來說感覺是一個福音，可以減緩batch_size設小之後性能降低的問題（谷歌在一個月前也提出了改進的FRN：一種不依賴b

>>阅读原文<<