【機器學習】信息量，信息熵，相對熵(KL散度)，交叉熵

1.信息量     信息奠基人香農（Shannon）認爲「信息是用來消除隨機不確定性的東西」。也就是說衡量信息量大小就看這個信息消除不確定性的程度。「太陽從東方升起了」這條信息沒有減少不確定性。因爲太陽肯定從東面升起。這是句廢話，信息量爲0。     「吐魯番下中雨了」（吐魯番年平均降水量日僅6天）這條信息比較有價值，爲什麼呢，因爲按統計來看吐魯番明天不下雨的概率爲98%（1-6/300），對於吐

>>阅读原文<<