深度學習中常用的激活函數

我們知道深度學習的理論基礎是神經網絡，在單層神經網絡中（感知機），輸入和輸出計算關係如下圖所示： 可見，輸入與輸出是一個線性關係，對於增加了多個神經元之後，計算公式也是類似，如下圖： 這樣的模型就只能處理一些簡單的線性數據，而對於非線性數據則很難有效地處理（也可通過組合多個不同線性表示，但這樣更加複雜和不靈活），如下圖所示： 那麼，通過在神經網絡中加入非線性激勵函數後，神經網絡就有可能學習到平滑的

>>阅读原文<<