神經網絡激活函數Activation Function (tips)

1.introduction 引入激活函數是爲了增加神經網絡的非線性,沒有激活函數的每層都相當於矩陣相乘。就算你疊加了若干層之後,無非還是個矩陣相乘罷了。如果不用激活函數,每一層輸出都是上層輸入的線性函數,無論神經網絡有多少層,輸出都是輸入的線性組合,這種情況就是最原始的感知機(Perceptron)。
相關文章
相關標籤/搜索