ReLu(Rectified Linear Units)激活函數

本文是轉載文章，講激活函數特別清楚，謝謝作者分享~ 原文鏈接：http://www.cnblogs.com/neopenx/p/4453161.html 論文參考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 起源：傳統激活函數、腦神經元激活頻率研究、稀疏激活性 傳統Sigmoid系激活函數 傳統神經網絡中最常用的兩個激活函數，Sigmoi

>>阅读原文<<