神經網絡的激活函數總結

導言 激活函數在神經網絡中具有重要的地位。在SIGAI之前的公衆號文章「理解神經網絡的激活函數」中，我們回答了3個關鍵的問題： 爲什麼需要激活函數？ 什麼樣的函數能用作激活函數？ 什麼樣的函數是好的激活函數？ 這篇文章從理論的角度介紹了激活函數的作用。承接上篇，在今天這篇文章中，SIGAI將爲大家介紹當前深度學習中常用的一些激活函數，包括它們的工程實現。我們將以Caffe爲例。 激活函數實現的是一

>>阅读原文<<