激活函數、損失函數及其優化方法總結

1.1 激活函數 　　關於激活函數，首先要搞清楚的問題是，激活函數是什麼，有什麼用？不用激活函數可不可以？答案是不可以。激活函數的主要作用是提供網絡的非線性建模能力。如果沒有激活函數，那麼該網絡僅能夠表達線性映射，此時即便有再多的隱藏層，其整個網絡跟單層神經網絡也是等價的。因此也可以認爲，只有加入了激活函數之後，深度神經網絡才具備了分層的非線性映射學習能力。 那麼激活函數應該具有什麼樣的性質呢？

>>阅读原文<<