激活函數

在神經網絡中，上層的輸出成爲下層的輸入以前，先通過一層激活函數，更符合天然界的神經網絡特性，太小的刺激就不用在繼續傳播下去了； 並且，若不用激活函數，不管神經網絡有多少層，輸出都是輸入的線性組合，引入非線性函數做爲激活函數，能夠使得學習能力更強web sigmoid 很是經常使用的激活函數 函數圖形爲S型 將輸入壓縮到0-1範圍內 不過因爲其導數的特性，容易致使梯度爆炸或消失，尤爲是梯度消失網絡

>>阅读原文<<