深度學習中常用的激勵函數

—— 原文發佈於本人的微信公衆號「大數據與人工智能Lab」（BigdataAILab），歡迎關注。   我們知道深度學習的理論基礎是神經網絡，在單層神經網絡中（感知機），輸入和輸出計算關係如下圖所示：   可見，輸入與輸出是一個線性關係，對於增加了多個神經元之後，計算公式也是類似，如下圖：   這樣的模型就只能處理一些簡單的線性數據，而對於非線性數據則很難有效地處理（也可通過組合多個不同線性表示，

>>阅读原文<<