probability and statistic(5) 信息量、交叉熵、香農熵、KL散度

信息量、交叉熵、香農熵、KL散度 1.信息量 信息量來衡量一個事件的不確定性，一個事件發生的概率越大，不確定性越小，則其攜帶的信息量就越小。 公式： I ( x ) = − l o g 2 p ( x ) I(x) = -log_2p(x) I(x)=−log2​p(x) 舉個簡單的例子： 事件一：巴西隊和西班牙隊進行足球比賽，賽前預測巴西隊獲勝的概率是50% 事件二：巴西隊和洛杉磯湖人隊進行足球

>>阅读原文<<