深度學習面試遇到問題

1.BatchNormalization的作用? 神經網絡在訓練的時候隨着網絡層數的加深,激活函數的輸入值的整體分佈逐漸往激活函數的取值區間上下限靠近,從而導致在反向傳播時低層的神經網絡的梯度消失。而BatchNormalization的作用是通過規範化的手段,將越來越偏的分佈拉回到標準化的分佈,使得激活函數的輸入值落在激活函數對輸入比較敏感的區域,從而使梯度變大,加快學習收斂速度,避免梯度消失的

>>阅读原文<<