生信自學筆記（十一）：熵與信息量

在信息論中，熵（entropy）是接收的每條消息中包含的信息的平均量，又被稱爲信息熵、信源熵、平均自信息量。這裏，「消息」 代表來自分佈或數據流中的事件、樣本或特徵。（熵最好理解爲不確定性的量度而不是確定性的量度，因爲越隨機的信源的熵越大。）來自信源的另一個特徵是樣本的概率分佈。這裏的想法是，比較不可能發生的事情，當它發生了，會提供更多的信息。由於一些其他的原因，把信息（熵）定義爲概率分佈的對數的

>>阅读原文<<