pytorch的幾種常用loss

1.sigmoid 這個可以將輸入歸一化到0~1之間 該函數也叫Logistic函數 優點：平滑、易於求導。 缺點：激活函數計算量大，反向傳播求誤差梯度時，求導涉及除法；反向傳播時，很容易就會出現梯度消失的情況，從而無法完成深層網絡的訓練。 計算公式如下圖所示： 2.softmax softmax也是一個歸一化函數，是歸一化指數函數，其公式如下圖所示 函數的輸入是從K個不同的線性函數得到的結果，而

>>阅读原文<<