卷積神經網絡(四)

一：ReLu激活函數 ReLu的全稱是Rectified layer units，它是一層使用非飽和激活函數的神經元。神經網絡通常使用sigmoid 和 tanh 作爲非線性激活函數，它確實比早期的線性激活函數有好的多的效果。但在深度神經網絡中，如果不使用pre-traning，會導致gradient vanishing problem (梯度消失，無法收斂)。後來，兩位神經學家從腦神經元接收信號

>>阅读原文<<