深度學習——激活函數總結

        激活函數主要作用是：加入非線性的因素，以解決線性模型表達能力不足的缺陷，在整個神經網絡裏面起到至關重要的作用。因爲神經網絡的數學基礎是處處可微的，所以選取的激活函數要能保證數據輸入與輸出也是可微的。在神經網絡中常用的激活函數有Sigmoid、Tanh、ReLU、Softplus以及變種函數Noisy ReLU、Leaky ReLU、Elus、Swish等。 1、Sigmoid函數

>>阅读原文<<