【深度學習】深度學習中常用的激活函數

近來研究深度學習，發現裏面的trick很多，特地用blog記錄下，以免以後忘掉 本文主要介紹常用的的激活函數， Sigmoid, tanh, Relu, Leaky relu Sigmoid激活函數 sigmoid函數在歷史上很受歡迎，因爲他很符合神經元的特徵， 優點是： 能夠把輸出控制在[0,1]之間， 直觀 缺點是：1）他的飽和區和未激活區的梯度均爲0，容易造成梯度彌散，比如x = 10時和x

>>阅读原文<<