14天動手學深度學習-Task3

一、批量歸一化（BatchNormalization） 1.對全連接層做批量歸一化 位置：全連接層中的仿射變換和激活函數之間。 2.對卷積層做批量歸⼀化 位置：卷積計算之後、應⽤激活函數之前。 如果卷積計算輸出多個通道，我們需要對這些通道的輸出分別做批量歸一化，且每個通道都擁有獨立的拉伸和偏移參數。 計算：對單通道，batchsize=m,卷積計算輸出=pxq 對該通道中m×p×q個元素同時做批量

>>阅读原文<<