深度學習局部響應值歸一化(Local Response Normalization,LRN)

Local Response Normalization(LRN)技術主要是深度學習訓練時的一種提高準確度的技術方法。 LRN一般是在激活、池化函數後的一種方法。 在ALexNet中,提出了LRN層,對局部神經元的活動創建競爭機制,LRN仿造生物學上活躍的神經元對相鄰神經元的抑制現象(側抑制)。 Hinton在2012年的Alexnet網絡中給出其具體的計算公式如下: 公式看上去比較複雜,但理解起
相關文章
相關標籤/搜索