(12)[arXiv16] Layer Normalization

計劃完成深度學習入門的126篇論文第十二篇,多倫多大學的Hinton針對RNN等模型研究了對於Batch Norm的變種Layer Normalization。 本篇論文一做Jimmy Lei Ba同時也是Adam的做者。 ABSTRACT&INTRODUCTION 摘要 訓練最早進的深層神經網絡在計算上是昂貴的。減小訓練時間的一種方法是使神經元的活動正常化。最近引入的一種稱爲批處理規範化的技術,
相關文章
相關標籤/搜索