代價函數--交叉熵，以及熵、相對熵之間的關係

交叉熵（Cross-Entropy） 交叉熵是一個在ML領域經常會被提到的名詞。在這篇文章裏將對這個概念進行詳細的分析。 1.什麼是信息量？ 假設X是一個離散型隨機變量，其取值集合爲，概率分佈函數爲p(x)=Pr(X=x),x∈，我們定義事件X=x0的信息量爲：  I(x0)=−log(p(x0))，可以理解爲，一個事件發生的概率越大，則它所攜帶的信息量就越小，而當p(x0)=1時，熵將等於0

>>阅读原文<<