激活函數比較

激活函數定義 在多層神經網絡中，上層節點的輸出和下層節點的輸入之間具有一個函數關係，這個函數稱爲激活函數 激活函數作用 我們決定引入非線性函數作爲激活函數，這樣深層神經網絡表達能力就更加強大。如果不用激活函數，每一層節點的輸入都是上層輸出的線性函數，無論你神經網絡有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，這種情況就是最原始的感知機 Sigmoid函數 數學表達式： 幾何圖像： 導數圖

>>阅读原文<<