局部響應歸一化LRN(Local Response Normalization)是啥

歸一化有很多種方法，第一次遇到LRN是在Alexnet中，用於對卷積層的輸出結果進行歸一化。公式如下： 這裏的i表示第i個通道，(x,y)爲某個像素點位置。這裏的意思就是說，我要把卷積層輸出的第i個通道的(x,y)位置的值進行歸一化。爲什麼叫局部響應呢？個人認爲是因爲每次歸一化某個值得時候，要參考某個與該值相關的局部區域內的響應值，那這個局部區域怎麼定呢？ 這裏是使用與該值具有同一位置（x,y）且

>>阅读原文<<