激活函數-relu-sigmoid-tanh

1.激活函數 1.1激活函數是什麼？ 　　激活函數的主要作用是提供網絡的非線性建模能力。如果沒有激活函數，那麼該網絡僅能夠表達線性映射，此時即便有再多的隱藏層，其整個網絡跟單層神經網絡也是等價的。因此也可以認爲，只有加入了激活函數之後，深度神經網絡才具備了分層的非線性映射學習能力。 那麼激活函數應該具有什麼樣的性質呢？ 可微性： 當優化方法是基於梯度的時候，這個性質是必須的。 單調性： 當激活函數

>>阅读原文<<