LSTM該不該使用RELU？

首先看下現在常用的激活函數 最常見的就是 σ 函數 σ(x)=11+e−x 其用在早期的神經網絡中，但是多層神經網絡存在梯度消失的問題。 tanh函數如下： tanh(x)=ex−e−xex+e−x tanh函數也和 σ 函數類似，存在梯度消失的問題。 近些年來，在卷機神經網絡中使用了Relu函數，發現解決了深度神經網絡梯度消失的問題，Relu的表達式如下： Relu(x)=max(0,x) Re

>>阅读原文<<