Batch Normalization解讀

介紹 每一層的輸入被之前所有層的參數影響着，所以當網絡中的參數有一個很小的變化時，這個變化會隨着網絡的加深而變大。 covrate shift 令q1（x）表示對預測表現進行評價時，x的密度。令q0（x）表示觀測數據x的密度。當q1（x）不等於q0（x）就叫做covrate shift。covrate shift 是怎麼產生的呢，因爲q0（x）是由採樣方式決定的，q1（x）是由總體決定的，在迴歸分

>>阅读原文<<