熵，條件熵，相對熵，互信息的相關定義及公式推導

轉自https://www.cnblogs.com/baby-lily/p/12859827.html 熵 熵是隨機變量不確定性的度量，不確定性越大，熵值越大，若隨機變量退化成定值，熵爲0，均勻分佈是最不確定的分佈。熵其實定義了一個函數(概率分佈函數)到一個值(信息熵)的映射。熵的定義公式如下： 在經典熵的定義中，底數是2，此時熵的單位是bit，若底數是e，則熵的單位是nat(奈特) 聯合熵以及條

>>阅读原文<<