熵、聯合熵、條件熵、交叉熵與相對熵意義

   條件熵：在隨機變量X發生的前提下，隨機變量Y發生所新帶來的熵定義爲Y的條件熵，用H(Y|X)表示，用來衡量在已知隨機變量X的條件下隨機變量Y的不確定性。     且有此式子成立：H(Y|X) = H(X,Y) – H(X)，整個式子表示(X,Y)發生所包含的熵減去X單獨發生包含的熵。至於怎麼得來的請看推導： ------------------------------------------

>>阅读原文<<