激活函數sigmoid,softmax,tanh,relu總結

激活函數使用原因 如果不用激勵函數,每一層輸出都是上層輸入的線性函數,無論神經網絡有多少層,輸出都是輸入的線性組合。 如果使用的話,激活函數給神經元引入了非線性因素,使得神經網絡可以任意逼近任何非線性函數,這樣神經網絡就可以應用到衆多的非線性模型中。 比如logistic函數,在單層感知機中,分類的結果大於某個值爲一類,小於某個值爲一類,這樣的話就會使得輸出結果在這個點發生階躍,logistic函
相關文章
相關標籤/搜索