信息論

文章目錄 信息論 1 信息量 2 信息熵 3 條件熵 4 互信息 5 相對熵 6 交叉熵 信息論 信息論的基本想法是一個不太可能的事情發生要比一個常可能發生的事件提供更多的信息html 1 信息量 ​ 度量信息多少的一個物理量,從量上反應具備肯定機率的事件發生是所傳遞的信息 ​ 用機率表示一個發生機率爲p的事件發生傳遞的信息量爲 − l o g 2 ( p ) -log_2(p) −log2​(p

>>阅读原文<<