KL散度&交叉熵&信息熵&不確定性信息度量

0.起源 物理學中的熱力學 熵：度量分子在物理空間中的混亂程度； 1.信息熵 信息熵： 度量信息量的多少； 以離散信息爲例 離散符號：x1，x2，…，xn； 信息中各符號出現的概率：p1，p2，…，pn； 信息的不確定性函數： f： p—f（p）； p越大，信息的不確定性越小，因此f是一個 減函數； 假設前提： 各符號的出現是相互獨立的（與實際不符） 則：f（p1，p2）=f（p1）+f（p2），

>>阅读原文<<