神經網絡激活函數總結

激活函數的作用 在線性不可分的情況下，激活函數可以給模型引入非線性因素。什麼意思呢？比如下面異或問題。 x y z 1 0 1 0 1 1 1 1 0 0 0 0 這個問題是線性不可分的，假設有一個單隱藏層的神經網絡，如圖： 上圖線上數字表示權重，下面兩個節點是異或問題的輸入，中間隱藏層的1.5表示大於1.5才激活輸出1，否則輸出0，後面輸出層0.5同理。 如果熟悉神經網絡的前向傳播，容易看出，

>>阅读原文<<