ElitesAI·動手學深度學習PyTorch版Task06打卡

批量歸一化和殘差網絡 批量歸一化（BatchNormalization） 批量歸一化（深度模型） 利用小批量上的均值和標準差，不斷調整神經網絡中間輸出，從而使整個神經網絡在各層的中間輸出的數值更穩定。 1.對全連接層做批量歸一化 位置：全連接層中的仿射變換和激活函數之間。 2.對卷積層做批量歸⼀化 位置：卷積計算之後、應⽤激活函數之前。 如果卷積計算輸出多個通道，我們需要對這些通道的輸出分別做批量

>>阅读原文<<