交叉熵學習筆記

一、信息熵 (information entropy) 一條信息的信息量大小和它的不確定性有直接的關係。我們需要搞清楚一件非常非常不確定的事，或者是我們一無所知的事，就需要了解大量的信息。相反，如果我們對某件事已經有了較多的瞭解，我們就不需要太多的信息就能把它搞清楚。 所以，從這個角度，我們可以認爲，信息量的度量就等於不確定性的多少。比如，有人說廣東下雪了。對於這句話，我們是十分不確定的。因爲廣東

>>阅读原文<<