算法崗面試：Deep Learning 27類常見問題+解析彙總

一、爲什麼深層神經網絡難以訓練？ 1、梯度消失。梯度消失是指通過隱藏層從後向前看，梯度會變得越來越小，說明前面層的學習會顯著慢於後面層的學習，所以學習會卡主，除非梯度變大。 梯度消失的原因：學習率的大小，網絡參數的初始化，**函數的邊緣效應等。在深層神經網絡中，每一個神經元計算得到的梯度都會傳遞給前一層，較淺層的神經元接收到的梯度受到之前所有層梯度的影響。如果計算得到的梯度值非常小，隨着層數增多，

>>阅读原文<<