深度學習中的激活函數

　　衆所周知神經網絡單元是由線性單元和非線性單元組成的，而非線性單元就是我們今天要介紹的--激活函數，不同的激活函數得出的結果也是不同的。他們也各有各的優缺點，雖然激活函數有自己的發展歷史，不斷的優化，但是如何在衆多激活函數中做出選擇依然要看我們所實現深度學習實驗的效果。 　　這篇博客會分爲上下兩篇，上篇介紹一些常用的激活函數（Sigmoid、tanh、ReLU、LeakyReLU、maxout）

>>阅读原文<<