ReLU:優於Sigmoid的激活函數

ReLU:優於Sigmoid的激活函數 在進行機器學習時,第一個接觸到的激活函數一定是Sigmoid函數。所謂激活函數,是一種將輸出改變爲非線性的使得模型功能性更強的應用手段。而Sigmoid函數作爲新人面孔中出現最頻繁的激活函數,可謂是佔盡了風頭。但Sigmoid激活函數任然具有他的侷限性,這要從他的數學性質說起: 從函數形式上來看,sigmoid函數爲指數型函數,這無疑會加大其計算量 從函數性
相關文章
相關標籤/搜索