信息與熵的計算

1. 什麼是信息？ 信息的定義涉及機率論中的隨機事件機率，若是待分類事物可能劃分在多個分類之中，則符號 Xi 的信息定義爲：php 其中 p(xi) 是選擇該分類的機率。（該定義來自於《機器學習實戰》P35）機器學習 舉個例子：已知事件 X 的機率分佈以下，計算符號 X 的信息： X X0 X1  p  0.5 0.5 l(x0)  = -log2p(x0) = -log2(0.5) = 1 l(

>>阅读原文<<