第六講-訓練神經網絡（上）--課時14-激活函數

激活函數 ----------------------------------------------------------------------------------------------- sigmoid：將值激活壓縮到0-1之間 缺點： （1）梯度很容易爲0，這個激活結點殺死了反向傳播回來的梯度，易造成梯度消失 （2）激活之後的均值不是0，全部都是正值（0-1之間） f = sum(

>>阅读原文<<