機器學習之信息熵

首先我們要區分信息量和信息熵的區別。 下面根據我的理解一步一步引出信息熵及其公式的來源： 信息熵的公式 先拋出信息熵公式如下： 其中 p(xi) 代表隨機事件X爲 xi的概率，下面來逐步介紹信息熵的公式來源！ 信息量 信息量是對信息的度量，就跟時間的度量是秒一樣，當我們考慮一個離散的隨機變量x的時候，當我們觀察到的這個變量的一個具體值的時候，我們接收到了多少信息呢？ 多少信息用信息量來衡量，我們接

>>阅读原文<<