機器學習(2.100)數據知識積累——香農熵

1948 年，香農提出了「 信息熵」(shāng) 的概念，才解決了對信息的量化度量問題。 一條信息的 信息量大小和它的不肯定性有直接的關係。好比說，咱們要搞清楚一件很是很是不肯定的事，或是咱們一無所知的事情，就須要瞭解大量的信息。相反，若是咱們對某件事已經有了較多的瞭解，咱們不須要太多的信息就能把它搞清楚。因此，從這個角度，咱們能夠認爲，信息量的度量就等於不肯定性的多少。 先給出公式： 假設：有

>>阅读原文<<