深度學習的激活函數 :加粗樣式sigmoid、tanh、ReLU 、Leaky Relu、RReLU

深度學習的激活函數 :加粗樣式sigmoid、tanh、ReLU 、Leaky Relu、RReLU 激活函數可以分爲兩大類 : 飽和激活函數: sigmoid、 tanh 非飽和激活函數: ReLU 、Leaky Relu 、ELU【指數線性單元】、PReLU【參數化的ReLU 】、RReLU【隨機ReLU】 相對於飽和激活函數,使用「非飽和激活函數」的優勢在於兩點: 1.首先,「非飽和激活函數
相關文章
相關標籤/搜索