批量歸一化和殘差網絡、凸優化、梯度下降

一、批量歸一化(BatchNormalization) 1. 對輸入的標準化（淺層模型）：處理後的任意一個特徵在數據集中所有樣本上的均值爲0、標準差爲1。                                                       標準化處理輸入數據使各個特徵的分佈相近。 2. 批量歸一化（深度模型）：利用小批量上的均值和標準差，不斷調整神經網絡中間輸出，從而使整個

>>阅读原文<<