淺談信息熵

信息熵從何而來？  在豐富的世界中，人類如同初生的嬰兒，在認識世界的過程中逐漸成長。信息以一種特殊的方式陪伴着人類社會的發展和科學的進步。人類的衆多發明發現都是在探究世界的確定性，而信息的神奇之處就在於它的用途是對不確定性信息的排除。1948年，Shannnon在《通信的數學原理》中寫到：「信息是用來消除隨機不確定性的東西」，並且定義信息熵爲隨機事件出現的概率。恰如對於隨機運動的粒子，溫度的概念是

>>阅读原文<<