機器學習： 激活函數的認識

一、必要性 激活函數的主要作用是提供網絡的非線性建模能力。如果沒有激活函數，那麼該網絡僅能夠表達線性映射，此時即便有再多的隱藏層，其整個網絡跟單層神經網絡也是等價的。因此也可以認爲，只有加入了激活函數之後，深度神經網絡才具備了分層的非線性映射學習能力。 二、種類 sigmoid函數 特別注意sigmoid函數的導數求法： σ′(x)=σ(x)∗(1−σ(x)) 缺點： （1）梯度消失。觀察函數圖像

>>阅读原文<<