2020-10-18 二、熵的定義

本文轉自：https://zhuanlan.zhihu.com/p/39706910 1： 熵的定義 假設離散隨機變量  ，它的p.m.f是  。我們定義  的熵  是：   引理：  證明  ，即均勻分佈熵最大。 利用拉格朗日乘子法證明：   由拉格朗日計算可以可到：  ，  得到極值爲  。 2： 聯合熵和條件熵 定義（聯合熵）：  定義（條件熵）：假如  ，則條件熵是： 定理（鏈式規則）： 

>>阅读原文<<