神經網絡基礎知識

激勵函數(activation function) 主要作用是提供網絡的非線性建模能力。如果沒有激勵函數，那麼該網絡僅能夠表達線性映射，此時即使有再多的隱藏層，其整個網絡跟單層神經網絡也是等價的。因此可以這麼認爲，只有加入了激勵函數之後，深度神經網絡才具備了分層的非線性映射學習能力。 性質： 可微性： 當優化方法是基於梯度的時候，這個性質是必須的 單調性： 當激勵函數是單調的時候，單層網絡能夠保證

>>阅读原文<<