谷歌swish激活函數

Swish是Google17年在10月16號提出的一種新型激活函數,其原始公式爲:f(x)=x * sigmod(x),變形Swish-B激活函數的公式則爲f(x)=x * sigmod(b * x),其擁有不飽和,光滑,非單調性的特徵。 f(x)=x⋅sigmoid(βx) β是個常數或可訓練的參數.Swish 具備無上界有下界、平滑、非單調的特性。Swish 在深層模型上的效果優於 ReLU。

>>阅读原文<<