交叉熵和信息熵

交叉熵： 用於多分類的損失函數，熵越大模型越不確定，熵越小模型越確定，即優化模型目的是最小化交叉熵 公式如下： 例子： 信息熵： 信息熵是消除不確定性所需信息量的度量，也即未知事件可能含有的信息量，信息熵大小與觀測者的觀測粒度有關，即在 P ( x i ) P(x_i) P(xi​)這個觀測分佈下熵的大小 相對熵（KL散度） 如果對於同一個隨機變量 X X X有兩個單獨的概率分佈 P ( x )

>>阅读原文<<