信息論(Information theory)的一些知識點

①—熵(entropy)           對於一個變量X~p（X服從p分佈），該變量的熵是 描述該變量的不確定性的一個值           eg:對於一個有k個狀態的離散隨機變量X，有                      a.當log以2爲底的時候稱之爲 bits,結果可以視爲多少個二進制位可以表示該變量           b.當log以e爲底的時侯稱之爲 nats ②—KL div

>>阅读原文<<