注意力機制+Parametric ReLU激活函數：自適應參數化ReLU激活函數

本文首先回顧了一些傳統的激活函數和注意力機制，然後解讀了一種「注意力機制下的新型ReLU激活函數」，也就是自適應參數化修正線性單元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1.激活函數 激活函數是現代人工神經網絡的核心部分，其用處是進行人工神經網絡的非線性化。我們首先介紹幾種最爲常見的激活函數，即Sigmoid、Tanh和ReLU激

>>阅读原文<<