深度學習_深度學習基礎知識_Mish激活函數

Mish激活函數的示意圖： Mish激活函數的公式： 也可以用下面的公式表示： Mish激活函數的優點： 以上無邊界(即正值可以達到任何高度)避免了由於封頂而導致的飽和。理論上對負值的輕微允許允許更好的梯度流，而不是像ReLU中那樣的硬零邊界，而且平滑的激活函數允許更好的信息深入神經網絡，從而得到更好的準確性和泛化。

>>阅读原文<<