深度學習ReLU激活函數

ReLU激活函數 在深度學習中,有修正線性單元(Rectified linear unit,ReLU)的激活函數 x軸是時間,y軸是放電速度 神經元的工作方式: 1、稀疏性 2、分佈性 我們開始介紹ReLU激活函數 首先,我們來看一下ReLU激活函數的形式 從圖中可以看出來ReLU函數他是一個分段的函數在一邊都讓他是0另一邊隨着數據的增大而變大 這種操作被成爲單側抑制。 有了單側抑制,才讓神經網絡
相關文章
相關標籤/搜索