交叉熵（Cross-Entropy）

交叉熵（Cross-Entropy） 交叉熵是一個在ML領域常常會被提到的名詞。在這篇文章裏將對這個概念進行詳細的分析。php 1.什麼是信息量？ 假設 X 是一個離散型隨機變量，其取值集合爲  ，機率分佈函數爲 p(x)=Pr(X=x),x∈ ，咱們定義事件 X=x0 的信息量爲： I(x0)=−log(p(x0)) ，能夠理解爲，一個事件發生的機率越大，則它所攜帶的信息量就越小，而當 p(

>>阅读原文<<