十、最大熵模型與EM算法

一、最大熵模型 1、熵 聯合熵和條件熵 相對熵 交叉熵 互信息 總結 2、最大熵模型 二、EM算法（期望最大化算法） 三、GMM 一、最大熵模型 lnx<=x−1 l n x <= x − 1 證明： f(x)=x−1−lnx,x>0 f ( x ) = x − 1 − l n x , x > 0 ，求導是凸函數，在x=1處取得極值 1、熵 熵是信息的度量，與信息量成反比。 信息量： h(xi)=

>>阅读原文<<