深度學習_深度學習基礎知識_PReLU

PReLU簡介 PReLU(Parametric Rectified Linear Unit), 顧名思義：帶參數的ReLU。二者的定義和區別如下圖： 如果ai=0，那麼PReLU退化爲ReLU；如果ai是一個很小的固定值(如ai=0.01)，則PReLU退化爲Leaky ReLU(LReLU)。 有實驗證明，與ReLU相比，LReLU對最終的結果幾乎沒什麼影響。 PReLU的幾點說明 （1） P

>>阅读原文<<