某些激活函數真的對模型有作用嗎？

 激活函數作用是什麼？給w+b一個約束。要麼是排除負值（relu），要麼是縮放到一個範圍（tanh等），或者更加極端（1，0）。 下面是一個訓練好（flowers   acc 74.6%）的vgg16中某一層的w中的一個feature值。可以看到其中正負都有。不能排除其中負的部分對模型的準確率沒有影響。假設，如果他有作用，那麼可能是在糾正太「正」（過擬合）的作用。纔會有relu的變形，prelu。

>>阅读原文<<