李宏毅-ML Tips for Deep Learning(深度學習的技巧)

Tips for Deep Learning 當測試集上的效果不好時需要查看訓練集上的錯誤率,有時候可能時因爲訓練集上就沒有訓練起來; 使用dropout相當於集成 不同的激活函數對訓練結果的影響很大,通過數學推導的角度分析,例如sigmoid激活函數會導致前面層的參數到後面逐漸被削弱; 層數越多並不一定效果越好 梯度消失現象 有些神經元經過relu激活函數後會導致結果爲0,所以使用relu激活函
相關文章
相關標籤/搜索