稀疏自編碼器的隱層激活函數不能用relu，要用sigmoid

我看的資料是Andrew課程的配套pdf，大家可以去網上找： 爲什麼不可以用relu 本文不講稀疏自編碼器的理論和原理，網上資料很多，上面的論文也講得很好。直接說問題。 最近用稀疏自編碼器做點事情，需要在傳統普通自編碼器的均方損失上加點正則化項，即稀疏性項。 看了論文裏稀疏自編碼器的思想以及對應的數學推導後，開始動手做。但是很快遇到一個沒想到的問題，全網基本搜索不到這個問題，很多博文都是把稀疏自編

>>阅读原文<<