BN層的反向傳播

參考鏈接： BN層的參考鏈接1 BN層的參考鏈接2 ---- 前言 BN層的的公式：輸入進行均值和方差，然後歸一化，接着有兩個參數，分別是scale和shift，其實一定程度上可以讓BN層選擇歸一化恢復多少。有時候可以剛剛好等於均值和方差，那麼就抵消了。 這裏就說兩個參數的意義，有時候我們並不想歸一化的進入，這時候重要兩個參數等於方差和均值，那麼就可以抵消了歸一化。 ----主體部分 前向傳播：

>>阅读原文<<