神經網絡之激勵函數(Activation Function)
一、什麼是激勵函數？
在人工神經網絡中，單個神經元的輸入與輸出之間的函數關係叫做激勵函數。
Activation Function 也可翻譯爲「**函數」，它用於**某些神經元並把**的神經元接受到的值通過映射，作爲輸出傳遞下去。
激勵函數實質上是一種將線性方程非線性化的方法。
函數 y = AF(Wx+b) 中 x 表示輸入、y 表示輸出，Wx+b 是一個關於 x 的線性方程，而激勵函數 AF 就負責將這個線性方程「掰彎」(即把它變成非線性的)。簡而言之，激勵函數就是對數據進行非線性化處理。
二、爲什麼需要激勵函數？
根本原因是爲了引入非線性因素。線性模型在很多情況下不能很好地表現實際情況，對於一些情況並不適用。
例如，要將一個平面上的兩類點分隔開，有時一條直線就可以很好地實現，但是有時需要用曲線才能較好地區分。
在下面這張圖中，一條直線就可以將紅藍兩類點區分開來。
但是對於這張圖，就無法用一條直線區分了。
但是用一條曲線就可以。
上面三張圖簡單舉例說明了爲什麼需要引入非線性因素，這三張圖都來自知乎上的回答(點擊即可)，這個回答感覺挺好的，有更詳細的解釋，可以看一下。