轉載：常用激活函數（激勵函數）理解與總結

版權聲明：本文爲博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。 關於ReLU死亡的解釋：設學習速率爲r, ReLU的梯度爲d(ReLU(wx+b))，那麼權重更新公式爲：w = w - rd(ReLU(wx+b)); 如果d(ReLU(wx+b))爲1，那麼權重更新公式變成了：w = w - r；如果學習率 r 較大使更新後的值w爲較大的負值，那麼很可能在

>>阅读原文<<