初始PyTorch（二）：激活函數

激活函數σ：python 常見的激活函數題 1.Sigmoid/logistic 區間[0, 1]函數   求導：spa   a=torch.linspace(-100,100,10) torch.sigmoid(a) 原始a:3d sigmoid後：code 缺陷：當x->+∞時，σ'=0，致使參數θ=θ-lr*θ'得不到更新，也就是梯度離散問題。blog 2.Tanh   區間[-1, 1]i

>>阅读原文<<