深度神經網絡調參之激活函數

神經網絡本質上是利用線性變換加激活函數達到非線性變換的效果，從而將原始的輸入空間特徵投向稀疏可分的空間。最後去做分類或者回歸。正是因爲有激活函數，才使得神經網絡有能力去模擬出任意一個函數。 本文簡單介紹下常見的激活函數，以及它們各自的優缺點。 sigmoid 上圖是sigmoid函數的圖像，表達式爲 σ(x)=1/(1+e−x) σ ( x ) = 1 / ( 1 + e − x ) 圖像上可以看

>>阅读原文<<