（三）PyTorch學習筆記——softmax和log_softmax的區別、CrossEntropyLoss() 與 NLLLoss() 的區別、log似然代價函數

一、softmax 函數 Softmax(x) 也是一個 non-linearity, 但它的特殊之處在於它一般是網絡中一次操做. 這是由於它接受了一個實數向量並返回一個機率分佈.其定義以下. 定義 x 是一個實數的向量(正數或負數都無所謂, 沒有限制). 而後, 第i個 Softmax(x) 的組成是 css exp(xi)∑jexp(xj) exp ⁡ ( x i ) ∑ j exp ⁡ (

>>阅读原文<<