解析信息論中的熵

定義：如果 X 是一個離散隨機變量，它的取值空間爲S， 那麼X的熵（entropy）定義爲 the average information in the outcomes of X produced over n trials as n becomes arbitrarily large，並用符號H(X)表示。 例如，如果我們投擲一枚均勻的硬幣，那麼這個事件的熵就等於1bit，因爲所有可能的結果（

>>阅读原文<<