交叉熵的物理意義及簡單公式推導

交叉熵（Cross Entropy）是Shannon信息論中一個重要概念，主要用於度量兩個概率分佈間的差異性信息。 若P(x)是數據的真實概率分佈，q(x)是由數據計算得到的概率分佈。機器學習的目的就是希望q(x)儘可能地逼近甚至等於P(x)。對q(x)的優化就等效於求交叉熵的最小值。另外，對交叉熵求最小值，也等效於求最大似然估計

>>阅读原文<<