交叉熵（Cross-Entropy）

交叉熵（Cross-Entropy） 交叉熵是一個在ML領域經常會被提到的名詞。在這篇文章裏將對這個概念進行詳細的分析。 1.什麼是信息量？ 假設X的信息量爲： I(x0)=−log(p(x0))時，熵將等於0，也就是說該事件的發生不會導致任何信息量的增加。舉個例子，小明平時不愛學習，考試經常不及格，而小王是個勤奮學習的好學生，經常得滿分，所以我們可以做如下假設： 事件A：小明考試及格，對應的概率

>>阅读原文<<