GAN的數學原理

信息論基礎 信息論的基本想法 - 如何量化信息？ 非常可能發生的事件信息量較少，確保能夠發生的事件應該沒有信息量。 較不可能發生的實踐具有更高的信息量。 獨立事件應具有增量的信息。例如，投擲的硬幣兩次正面朝上傳遞的信息量，應該是投擲一次硬幣正面朝上的信息量的兩倍。 爲了滿足上述三個性質，定義一個事件 X = x X=x X=x的自信息爲 I ( x ) = − l o g P ( x ) I(x)

>>阅读原文<<