cs231n筆記-激活函數與權重初值

1. Sigmoid 存在的問題： 飽和神經元使得梯度消失。 當輸入x過大或者過小時，從sigmoid的曲線都可以看到，區域水平，這將導致梯度消失。 sigmoid不是一個零中心函數。 上游回傳的梯度 d L d f \frac{dL}{df} dfdL​的數值正負皆有可能，權重的梯度 d f d W = x \frac{df}{dW}=x dWdf​=x，如果輸入x恆爲正，則相當於保留了上游梯度

>>阅读原文<<