深度學習中常用的激活函數

我們知道深度學習的理論基礎是神經網絡,在單層神經網絡中(感知機),輸入和輸出計算關係如下圖所示: 可見,輸入與輸出是一個線性關係,對於增加了多個神經元之後,計算公式也是類似,如下圖: 這樣的模型就只能處理一些簡單的線性數據,而對於非線性數據則很難有效地處理(也可通過組合多個不同線性表示,但這樣更加複雜和不靈活),如下圖所示: 那麼,通過在神經網絡中加入非線性激勵函數後,神經網絡就有可能學習到平滑的
相關文章
相關標籤/搜索