激活函數、優化算法

激活函數ReLU： https://www.cnblogs.com/makefile/p/activation-function.html ReLU缺點： 1，壞死：ReLU強制的稀疏處理會減少模型的有效容積（即屏蔽太多，導致模型無法學習到有效特徵）。由於ReLU在x<0是梯度爲0，這樣導致負的梯度在這個ReLU被置零，而且這個神經元有可能再也不會被任何數據激活，稱爲神經元「壞死」； 2，無負值：

>>阅读原文<<