機器學習中的一些信息論 information theory

信息量： 若是事情x發生，那麼 p(x) 能爲「事件x發生」所提供的信息量： web h(X)=−log2p(x) 也就是消除事情不肯定性所須要的信息量，單位是 比特 國足取得冠軍的機率是0.01 h(國足取冠)=−log20.01=4.6比特 羽毛球隊取得冠軍的機率是0.9 h(國羽取冠)=−log20.9=0.1比特 在信息論中，熵是接收的每條消息中包含的信息的平均量，它是不肯定性的度量，越隨

>>阅读原文<<