交叉熵與softmax的概念

信息量: 越不可能的事件發生了，我們獲取到的信息量就越大。越可能發生的事件發生了，我們獲取到的信息量就越小。信息量的公式如下： 熵: 用來表示所有信息量的期望，熵的公式如下： 然而有一類比較特殊的問題，比如投擲硬幣只有兩種可能，字朝上或花朝上。買彩票只有兩種可能，中獎或不中獎。我們稱之爲0-1分佈問題（二項分佈的特例），對於這類問題，熵的計算方法可以簡化爲如下算式： 相對熵： 相對熵又稱KL散度,

>>阅读原文<<