動手學深度學習筆記6BN和殘差網絡

一、批量歸一化BN 對輸入的歸一化（淺層模型）： 1.處理後的任意一個特徵在數據集中所有樣本上的均值爲0、標準差爲1。 2.標準化處理輸入數據使各個特徵的分佈相近 批量歸一化（深度模型）： 利用小批量上的均值和標準差，不斷調整神經網絡中間輸出，從而使整個神經網絡在各層的中間輸出的數值更穩定。 BN有兩種情況： 1.對全連接層進行批量歸一化： 位置：全連接層中的仿射變換和激活函數之間。 全連接： 此

>>阅读原文<<