[深度學習]神經網絡的激活函數

爲什麼要引入非線性激活函數 如果不使用非線性激活函數，激活函數本質上相當於f(x)=ax+b。在這種情況下，神經網絡每一層的輸出都是上層輸入的線性函數。此時，不管神經網絡有多少層，輸出與輸入都是線性關係，與沒有隱層是一樣的。也就相當於最原始的感知機，連最基本的異或問題都無法解決，更別說其他更復雜的非線性問題。   常見的激活函數 sigmoid函數 sigmoid函數的數學形式爲，導數爲f(x)(

>>阅读原文<<