信息量、熵、 交叉熵、 聯合熵、 條件熵 、KL散度 、JS散度

「信息是用來消除隨機不確定性的東西」。也就是說衡量信息量大小就看這個信息消除不確定性的程度。 理解 信息： 「太陽從東方升起了」這條信息沒有減少不確定性。因爲太陽肯定從東面升起。這是句廢話，信息量爲0。 「吐魯番下中雨了」（吐魯番年平均降水量日僅6天）這條信息比較有價值，爲什麼呢，因爲按統計來看吐魯番明天不下雨的概率爲98%（1-6/300），對於吐魯番下不下雨這件事，首先它是隨機不去確定的，這條

>>阅读原文<<