神經網絡中激活函數的意義和需要滿足的條件

（1）非線性：即導數不是常數。這個條件是多層神經網絡的基礎，保證多層網絡不退化成單層線性網絡。這也是激活函數的意義所在。下面看一下激活函數使用線性函數時會發生什麼 由上可見，任意多個線性函數的組合還是線性函數，因此只要隱藏層的輸出是線性的，無論多少層，都是和一個隱藏層是一回事，只有在線性迴歸問題中的輸出層纔會用到線性激勵函數，但是實際上對於迴歸任務，你完全可以不使用激活函數。 （2）幾乎處處可微：

>>阅读原文<<