各類激活函數的比較

激活函數的做用 首先，激活函數不是真的要去激活什麼。在神經網絡中，激活函數的做用是可以給神經網絡加入一些非線性因素，使得神經網絡能夠更好地解決較爲複雜的問題。 好比在下面的這個問題中： 如上圖(圖片來源)，在最簡單的狀況下，數據是線性可分的，只須要一條直線就已經可以對樣本進行很好地分類。 但若是狀況變得複雜了一點呢？在上圖中(圖片來源)，數據就變成了線性不可分的狀況。在這種狀況下，簡單的一條直線就

>>阅读原文<<