熵的理解(機器學習)

一、熵的作用        我所理解的熵，其實就是爲了對數據的無序狀態進行度量。   二、引出熵的前提：自信息        自信息通俗理解，其實是指該信息對於人們的震撼程度。自信息也稱爲信息量，可以這樣理解，在生活中如果一件事經常發生(如「cxk說他會打籃球，唱，rap」)，人們往往不會那麼關注了，即給人感覺，這樣的事件提供的信息量很少（很無聊）；但如果一件很少發生的事突然發生(如地球不轉了(。

>>阅读原文<<