ReLU函數的缺陷

　ReLU激活功能並不完美。 它有一個被稱爲 「ReLU 死區」 的問題：在訓練過程中，一些神經元會「死亡」，即它們停止輸出 0 以外的任何東西。在某些情況下，你可能會發現你網絡的一半神經元已經死亡，特別是使用大學習率時。 在訓練期間，如果神經元的權重得到更新，使得神經元輸入的加權和爲負，則它將開始輸出 0 。當這種情況發生時，由於當輸入爲負時，ReLU函數的梯度爲0，神經元就只能輸出0了。 　　

>>阅读原文<<