激活函數(sigmoid和ReLU)

激活函數給神經元引入了非線性因素,如果不用激活函數,神經網絡每一層輸出都是上層輸入的線性函數,無論神經網絡有多少層,輸出都是輸入的線性組合。 比如對於一個二分類問題: 如果用線性分類,那就只能按照下圖劃分: 如果可以非線性分類,那就可以按照下面的圖進行劃分: 激活函數使得神經網絡可以任意逼近任何非線性函數,這樣神經網絡就可以應用到衆多的非線性模型中。 sigmoid sigmoid函數的定義爲:
相關文章
相關標籤/搜索