一些激活函數公式

 http://mp.weixin.qq.com/s/4gElB_8AveWuDVjtLw5JUA sigmoid函數： 導數推導： 所以sigmoid的倒數 y' = 1 - y。   其他激活函數及其導數：   rectifier(x) = max(0, x)  rectifier 函數被認爲有生物上的解釋性。神經科學家發現神經元具有單側抑制、寬興奮邊界、稀疏激活性等特性。採用 rectifi

>>阅读原文<<