深度學習常見問題

1、神經網絡基礎問題 （1）Backpropagation（要能推倒） 　　後向傳播是在求解損失函數L對參數w求導時候用到的方法，目的是通過鏈式法則對參數進行一層一層的求導。這裏重點強調：要將參數進行隨機初始化而不是全部置0，否則所有隱層的數值都會與輸入相關，這稱爲對稱失效。 （2）梯度消失、梯度爆炸 　　梯度消失：這本質上是由於激活函數的選擇導致的， 最簡單的sigmoid函數爲例，在函數的兩端

>>阅读原文<<