深度學習加速器Layer Normalization-LN

前面介紹了Batch Normalization（BN），公衆號菜單欄能夠得到文章連接，今天介紹一種和BN相似的深度學習normalize算法Layer Normalization（LN）。算法 LN提出：BN針對一個minibatch的輸入樣本，計算均值和方差，基於計算的均值和方差來對某一層神經網絡的輸入X中每個case進行歸一化操做。但BN有兩個明顯不足：1、高度依賴於mini-batch的大

>>阅读原文<<