神經網絡中的**函數sigmoid、 tanh 、RELU

首先解釋爲什麼要做: 再解釋怎麼做: 從數學上來看,Sigmoid函數對中央區的信號增益較大,對兩側區的信號增益小,在信號的特徵空間映射上,有很好的效果。   在具體應用中,tanh函數相比於Sigmoid函數往往更具有優越性,這主要是因爲Sigmoid函數在輸入處於[-1,1]之間時,函數值變化敏感,一旦接近或者超出區間就失去敏感性,處於飽和狀態,   (3) ReLU 第一,採用sigmoid
相關文章
相關標籤/搜索