14、熵、聯合熵、條件熵、相對熵、互信息的定義

熵：如果一個隨機變量X的可能取值爲X = {x1, x2,…, xk}，其概率分佈爲P(X = xi) = pi（i = 1,2, ..., n），則隨機變量X的熵定義爲： 把最前面的負號放到最後，便成了： 上面兩個熵的公式，無論用哪個都行，而且兩者等價，一個意思（這兩個公式在下文中都會用到）。     聯合熵：兩個隨機變量X，Y的聯合分佈，可以形成聯合熵Joint Entropy，用H(X,Y)

>>阅读原文<<