深度學習筆記六：常見激活函數總結

一.激活函數概覽 基本上,入門深度學習的第一件事情就是了解」神經元」的構造,激活函數算是最基本的一個」部件」了吧.那激活函數到底有什麼用呢?爲什麼需要激活函數?激活函數的定義是什麼呢? 下面這篇論文提供了激活函數的定義以及常見的」飽和」的定義,以及對於激活函數的一些思考.大家可以參考一下. Noisy Activation Functions 引用這篇論文的定義:激活函數就是映射,且函數幾乎處處可

>>阅读原文<<