練習3習題

一:信息論基礎 1.熵 熵是用來衡量一個系統混論程度的物理量,代表一個系統中蘊含多少信息量,信息量越大表明一個系統不確定性就越大,就存在越多的可能性。 熵(entropy)就用來衡量整個系統的總體信息量,其計算公式如下 2.聯合熵 將一維隨機變量分佈推廣到多維隨機變量分佈,則其聯合熵 : 3.條件熵 條件熵 H(Y|X)H(Y|X) 表示在已知隨機變量 XX 的條件下隨機變量 YY 的不確定性。條
相關文章
相關標籤/搜索