深度學習那些事 — **函數

這篇文章介紹**函數,之所以將**函數單獨拿出來進行介紹,因爲多層感知機在剛開始發展的時候,梯度會消失,所以它梯度不會太深,訓練不了太深的參數,其實最核心的問題就是**函數,結合反向求導那篇文章求導的過程,我們提出兩個問題,帶着這兩個問題往下看。 有的**函數爲什麼導致那個參數無法收斂? 梯度爲什麼會消失? **函數特徵 非線性:當**函數是非線性的時候,一個兩層的神經網絡就可以逼近基本上所有的函
相關文章
相關標籤/搜索