激活函數ReLU、Leaky ReLU、tanh(雙曲正切函數Hyperbolic tangent function)

深度學習的激活函數 :sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus - 程序員大本營 https://www.pianshen.com/article/6147380115/ 數學表達式: y = max(0, x) + leak*min(0,x) 與 ReLu 相比 ,leak 給所有負值賦予一個非零斜率, leak是一個很小的常數
相關文章
相關標籤/搜索