pytorch-9-激活函數、loss及其梯度

激活函數及其梯度 1、激活函數及其梯度 2、loss及其梯度 1、激活函數及其梯度 不可導的激活函數（階梯函數） 可導的激活函數 sigmoid tanh Relu(很好用) 極大的減輕了梯度離散、梯度爆炸現象 2、loss及其梯度 求導：方法一 -求導：方法二 分類激活函數：softmax

>>阅读原文<<