深度學習之常用激活函數

  激活函數（Activation Function）一般用於神經網絡的層與層之間，將上一層的輸出轉換之後輸入到下一層。如果沒有激活函數引入的非線性特性，那麼神經網絡就只相當於原始感知機的矩陣相乘。   一、激活函數的性質 非線性：當激活函數爲非線性的時候，可以證明兩層的神經網絡可以逼近任意複雜的函數。 連續可微：由於神經網絡的訓練是基於梯度的優化方法，數學基礎是連續可微，因此選取的激活函數也要保

>>阅读原文<<