swish,mish

swish 2.swish 其中σ(x)是sigmoid函數，swish是光滑而且單調的，swish的導數是： swish的第一和第二導數如圖2所示： 無界性避免了飽和，函數飽和區域的梯度很小，訓練非常緩慢，因此網絡必須小心的初始化才能保持在這些函數的線性狀態。此外，有下屆也可能是有利的，因爲強大的正則化效應。與relu和softplus不同的是， 由於它的非單調性，它爲小的負輸入產生負輸出，sw

>>阅读原文<<