熵、信息熵、交叉熵、相對熵、條件熵、互信息、條件熵的貝葉斯規則

熵 每條消息都含有信息。「信息熵」是「熵」的別名，用來衡量消息的不確定程度。 寬泛來講，即消息所傳達的信息的模糊程度，消息越模糊，其熵越高。 形象的說，熵是從 根據模糊消息—>得到精確信息 所需要花費的最小代價。 熵=信息量(的期望)=不確定性的多少。熵值是信息量的一個度量。 某種意義上說，熵就是最優策略。 《數學之美》中這樣描述： 變量的不確定性越高，熵也就越大，要把它搞清楚，所需要的信息量也就

>>阅读原文<<