最大熵與正態分佈

最大熵與正態分佈 Question 已知隨機分佈的均值和方差，求使得熵最大的概率分佈。 求解 首先將問題翻譯成數學語言： 其中p(x)爲概率分佈密度函數，信息熵表示變量的確定性程度，熵越大確定性程度越低，也即表示未知越多。在信息論中，最大熵原理是一個非常重要的原則，也是奧卡姆剃刀原則在信息論中的應用，用一句通俗的話講，就是如果你不知道事件的真相，那麼你只能按照已知的信息去推測所有的可能和可能性，而

>>阅读原文<<