算法工程師面試準備——深度學習

文章目錄 神經網絡梯度消失與梯度爆炸 簡述現象 產生梯度消失的根本原因 梯度爆炸的根本原因 當激活函數爲sigmoid時，梯度消失和梯度爆炸哪個更容易發生？ 如何解決梯度消失和梯度爆炸 激活函數 sigmod tanh ReLU Leaky ReLU 優化方法 SGD Momentum Adagrad RMSprop Adam 牛頓法 擬牛頓法 共軛梯度法 Batch Normalization

>>阅读原文<<