Sigmoid/Tanh/ReLu**函數的優缺點

**函數的作用 引入非線性，增強神經網絡的表達能力 Sigmoid/Tanh/ReLu**函數的優缺點 這三個**函數都沒能解決梯度消失 梯度彌散就是梯度消失。 一種很流行的說法是Relu解決了梯度消失的問題，其實並不是這樣。 單從**函數的導數來說，看**函數的「死區」範圍，即導數接近於0的區間。Sigmoid和Tanh僅0附近一小段範圍非死區；即使是Relu仍有一半的死區。 此外，梯度不僅包括

>>阅读原文<<