淺析神經網絡中的激活函數

1 什麼是激活函數 激活函數就是一類x到y的映射 目的：是爲了引入非線性元素，解決線性模型不能解決的問題。 意義：一個沒有激活函數的神經網絡將只不過是一個線性迴歸模型（Linear regression Model）。它並不能表達複雜的數據分佈。 激活函數一般要滿足的性質： 非線性：因爲如果是線性激活函數，不管多少隱藏層，輸出都是輸入的線性組合。 可微性：因爲當優化方法是基於梯度的時候，要對激活函

>>阅读原文<<