CNN中激活函數，優化器，損失函數的選擇

一 激活函數 關於激活函數的定義，該論文的做者有提到，激活函數的定義 若是沒有激活函數，那麼該網絡僅可以表達線性映射，此時即使有再多的隱藏層，其整個網絡跟單層神經網絡也是等價的。所以也能夠認爲，只有加入了激活函數以後，深度神經網絡才具有了分層的非線性映射學習能力。激活函數不是真的要去激活什麼。在神經網絡中，激活函數的做用是可以給神經網絡加入一些非線性因素，使得神經網絡能夠更好地解決較爲複雜的問題。

>>阅读原文<<