激活函數sigmoid 、tanh、Relu、Leaky Relu 優缺點對比

同學你好,這是個很好的問題,flare老師在第8章卷積神經網絡的章節也有提及「爲什麼CNN結構使用relu替代sigmoid作爲激活函數」。flare老師和大家分享常用激活函數的優缺點: sigmoid: 很直觀的反映了二分類任務的事件可能性(概率),通過引入雙邊極值穩定的非線性函數關係能有效地模擬神經元信息機制,在邏輯迴歸與神經網絡中被廣泛使用。 缺陷:雙邊區域數值飽和(x很大或很小)導致隨着x
相關文章
相關標籤/搜索