批量歸一化，優化與凸優化

批量歸一化 1.對全連接層做批量歸一化 位置：全連接層中的仿射變換和激活函數之間。 2.對卷積層做批量歸⼀化 位置：卷積計算之後、應⽤激活函數之前。 3.預測時的批量歸⼀化 訓練：以batch爲單位,對每個batch計算均值和方差。 預測：用移動平均估算整個訓練數據集的樣本均值和方差。 pytorch中的nn模塊定義的BatchNorm1d和BatchNorm2d分別用於全連接層和卷積層。 優化與

>>阅读原文<<