深度學習中常用的激活函數理解

ReLU還有一個優點是：Relu會使一部分神經元的輸出爲0，這樣就造成了網絡的稀疏性，並且減少了參數的相互依存關係，緩解了過擬合問題的發生。 Dead ReLU Problem 參考原因 要搞清楚Dead ReLU具體指的是什麼，怎麼產生的，如何解決？ Dead ReLU具體指的是什麼？ 字面意思上理解就是「死的」神經元，即該神經元對網絡不起作用了。 那麼什麼情況下神經元對網絡不起作用了呢？ 可以

>>阅读原文<<