記錄一些深度學習基礎知識

batch normalization與layer normalization 索引：NLP中 batch normalization與 layer normalization BN、LN可以看作橫向和縱向的區別。 經過歸一化再輸入**函數，得到的值大部分會落入非線性函數的線性區，導數遠離導數飽和區，避免了梯度消失，這樣來加速訓練收斂過程。 BatchNorm這類歸一化技術，目的就是讓每一層的分佈

>>阅读原文<<