深度學習_準備工作

深度學習 常用函數 學習率問題 反向傳播： 神經網絡可以表達非線性的原因 參數初始化 常用函數 sigmoid： Relu激活函數 sigmoid存在的主要缺點是 當網絡層數較多的時候 容易發生梯度消失 因爲在sigmoid中 x值過大或者過小 它的倒數值都會接近於0 ，這樣便不能進行反向傳播。而Relu函數不會 Softmax： 學習率問題 學習率過高過或過低都不行 反向傳播： 反向傳播即在 更

>>阅读原文<<