深度學習中常見的激活函數

深度學習中有四個常見的激活函數，總是記了會忘，忘了就混了，哎，記錄一下。 1.Sigmoid函數 ：                                                 缺點：輸入較小或較大時，梯度消失，函數達到飽和則會殺死梯度，反向傳播求誤差梯度時，易出現梯度消失 （導數從零開始->很快趨於0，造成梯度消失） 2.tanh函數：   差圖片一張： 3.Relu函數 ：

>>阅读原文<<