【李宏毅機器學習2017】tips for training DNN

本次課程的目錄： 激活函數 使用sighmoid函數容易造成梯度消失的原因是： DNN中，越靠近輸出層的權重的梯度越大，因此，能更快地學習到位；而越靠近輸入的權重梯度越小，幾乎都是隨機的。 sigmoid函數所表示的映射關係，決定了w造成的變化在逐層傳遞的過程中會逐級減弱。 ReLU relu會使得計算過程中一部分神經元的輸出變爲0（相當於剔除），而另一部分神經元則變成線性神經元。這樣，總體的網絡

>>阅读原文<<