上古激活函數之local response normalizatiion

最近因爲工作原因，需要寫lrn的gpu shader實現，公式如下： 個人覺得lrn只適用於分類網絡，且作用不大。 其一，網絡在初始訓練時，權重都是隨機值，產生的特徵沒有表徵意義，對沒有表徵意義的特徵進行抑制或者放大，不合理，除非把公式裏的幾個超參改進成可訓練的，隨着網絡的訓練施加影響。 其二，對於非分類網絡，例如圖像生成，相鄰通道值是不需要放大差距的，例如網絡的最後進程，一般一個通道只表示一個或

>>阅读原文<<