輕鬆讀懂機器學習由 信息量→熵→相對熵→交叉熵

關注文章 交叉熵 理解流程大致如下： 信息量X軸表示P y軸表示信息量   信息論 交叉熵是信息論中的一個概念，要想了解交叉熵的本質，需要先從最基本的概念講起。 1 信息量 首先是信息量。假設我們聽到了兩件事，分別如下： 事件A：巴西隊進入了2018世界盃決賽圈。 事件B：中國隊進入了2018世界盃決賽圈。 僅憑直覺來說，顯而易見事件B的信息量比事件A的信息量要大。究其原因，是因爲事件A發生的概率

>>阅读原文<<