activation function 神經網絡常用激活函數

1.引入非線性激活函數(activation function)的作用 如果不使用非線性激活函數，此時激活函數本質上相當於f(x)=ax+b。這種情況先，神經網絡的每一層輸出都是上層輸入的線性函數。不難看出，不論神經網絡有多少層，輸出與輸入都是線性關係，與沒有隱層的效果是一樣的，這個就是相當於是最原始的感知機(Perceptron)。至於感知機，大家知道其連最基本的異或問題都無法解決，更別提更復雜

>>阅读原文<<