pytorch裏的cross_entropy,log_softmax,nll_loss最清楚簡單的區分。再也不迷糊！

1.首先明白信息論的以下概念：   自信息：I（x）代表信息的多少 香農熵H(X)：代表一個分佈下自信息的期望，也就是自信息的均值。 交叉熵/cross_entropy/H(P,Q): 注意：上圖中的DL(P||Q)指的是KL散度，DEEP LEARNING中模糊了交叉熵 和KL散度的區分，本質上兩者是不同的，但deep中用交叉熵代替KL散度來衡量兩個分佈的差距，具體爲什麼可以就是因爲H（P）=H

>>阅读原文<<