概率與信息熵

期望的定義 信息熵 不確定性的度量，值越大，不確定性越大。 一個事件的發生的概率離0.5越近，其熵就越大，概率爲0或1就是確定性事件，不能爲我們帶信息量。也可以看作是一件事我們越難猜測是否會發生，它的信息熵就越大。 H(X)=−∑xεXP(x)logP(x)) 交叉熵 在信息論中，交叉熵是表示兩個概率分佈p,q，其中p表示真實分佈，q表示非真實分佈，在相同的一組事件中，其中，用非真實分佈q來表示某

>>阅读原文<<