理解香濃熵

理解香濃熵 隨機變量的有趣與乏味 香濃熵 均勻分佈下的香濃熵 不均勻分佈下的香濃熵 隨機變量的有趣與乏味 香濃熵用來度量一個隨機變量的信息量。 舉個例子，假設有一臺收音機，每秒鐘發出一個單音，這個單音的頻率就是隨機變量的值。 如果它每次發的音都是一樣的，比如，都是440Hz（鋼琴上的A4），那麼它就很單調乏味，信息量很小。 如果它有時候發440Hz，有時候發261Hz(中央C)，那麼信息量就大一點

>>阅读原文<<