非線性激活函數（爲什麼需要它、導數、優缺點）

爲什麼需要非線性激活函數？ a=z 叫做線性激活函數 或 恆等激活函數 如果使用線性激活函數，那麼這個模型的輸出不過是你輸入特徵x的線性組合。神經網絡只是把輸入線性組合再輸出。 所以即使你有很多個隱含層，但是你如果使用線性激活函數或者不用激活函數，一直在做的只是計算線性激活函數，所以還不如直接去掉全部隱藏層。所以除非引入非線性，那麼無法計算更有趣的函數。 只有一個地方可以使用線性激活函數，那就是回

>>阅读原文<<