練習3習題

一：信息論基礎 1.熵 熵是用來衡量一個系統混論程度的物理量，代表一個系統中蘊含多少信息量，信息量越大表明一個系統不確定性就越大，就存在越多的可能性。 熵（entropy）就用來衡量整個系統的總體信息量，其計算公式如下 2.聯合熵 將一維隨機變量分佈推廣到多維隨機變量分佈，則其聯合熵 ： 3.條件熵 條件熵 H(Y|X)H(Y|X) 表示在已知隨機變量 XX 的條件下隨機變量 YY 的不確定性。條

>>阅读原文<<