從批量歸一化到文本分類

** 批量歸一化(BatchNormalization) ** 對輸入的標準化(淺層模型) 處理後的任意一個特徵在數據集中所有樣本上的均值爲0、標準差爲1。 標準化處理輸入數據使各個特徵的分佈相近 批量歸一化(深度模型) 利用小批量上的均值和標準差,不斷調整神經網絡中間輸出,從而使整個神經網絡在各層的中間輸出的數值更穩定。 2.對卷積層做批量歸⼀化 位置:卷積計算之後、應⽤激活函數之前。 如果卷積
相關文章
相關標籤/搜索