論文中整理的零碎知識點

1.熵 信息熵:量化信息，小概率事件但信息量大比如月食，大概率事件信息量小比如太陽每天都從東方升起，所以採取在概率p前加一個log，再添負號，就滿足前面的要求了，而這是針對單個個體，對-logp求期望Ex~p(-logp)是描述總體的信息量。   KL散度:用這個q分佈去逼近真實分佈p，用logp-logq(logp-logq<0,原因暫且不知道)衡量逼近的程度，這也是針對一個個體，對logp-l

>>阅读原文<<