激活函數

本文章參考斯坦福深度學習課程，圖片也來自於課程截圖 爲什麼我們需要激活函數： 沒有激活函數的神經網絡只不過是一個線性迴歸模型，它功率有限，並且大多數情況下執行得並不好。我們希望神經網絡不僅僅可以學習和計算線性函數，而且還要比這複雜得多。 1.sigmoid函數          缺點： 1.飽和神經元（絕對值很大的數值)將使得梯度消失      x=10或-10時梯度爲0，使用鏈式法則梯度相乘，梯

>>阅读原文<<