生成對抗網絡（GANs）系列：KL散度和JS散度

1.香農信息量、信息熵和交叉熵 只考慮連續型隨機變量的情況。設p爲隨機變量X的概率分佈，即p(x)爲隨機變量X在X=x處的概率密度函數值，隨機變量X在x處的香農信息量定義爲： 其中對數以2爲底，這時香農信息量的單位爲比特。香農信息量用於刻畫消除隨機變量X在x處的不確定性所需的信息量的大小。如隨機事件「中國足球進不了世界盃」不需要多少信息量（比如要不要多觀察幾場球賽的表現）就可以消除不確定性，因此該

>>阅读原文<<