歸一化處理

對全連接層的歸一化處理 對卷積層做批量歸一化 對卷積層來說，批量歸一化發生在卷積計算之後、應用激活函數之前。如果卷積計算輸出多個通道，我們需要對這些通道的輸出分別做批量歸一化，且每個通道都擁有獨立的拉伸和偏移參數，並均爲標量。設小批量中有 𝑚 個樣本。在單個通道上，假設卷積計算輸出的高和寬分別爲 𝑝 和 𝑞 。我們需要對該通道中 𝑚×𝑝×𝑞 個元素同時做批量歸一化。對這些元素做標準化計

>>阅读原文<<