Layer Normalization

code : https://github.com/ryankiros/layer-normgit 本文主要是針對 batch normalization 存在的問題 提出了 Layer Normalization 進行改進的。github 這裏首先來回顧一下 batch normalization ： 對於前饋神經網絡第 l 隱層，神經元的輸入爲 a, 激活函數爲 f, 激活函數輸出爲 h。權值

>>阅读原文<<