（附）最大熵模型介紹 + （信息論）熵的知識點

聯合熵和條件熵 熵：對不確定性的一種度量，不確定性越大熵值越大！（均勻分佈是最不確定的分佈） 聯合熵：兩個隨機變量X，Y進行或運算！ 條件熵：在Y確定的前提下，X發生帶來的熵！（類似於條件概率，聯合概率減去邊緣概率而已） 利用聯合熵對條件熵的推導：   相對熵（交叉熵，K-L距離） 相對熵：衡量兩個隨機變量之間的距離  交叉熵：對相對熵的形式進行變形   互信息（信息增益） 互信息：定義爲兩個隨機

>>阅读原文<<