交叉熵的理解

知乎用戶的回答 信息量：事件發生的可能性越大，其信息量越低 熵：一個事件各種可能結果的信息量的期望值 相對熵（KL散度）：描述不同分佈的差異 交叉熵 機器學習中爲什麼使用交叉熵作爲損失函數？ 機器學習的最終目標是學習到數據的真實分佈P(real)，這是無法實現的，只能退而求其次，從真實數據中採樣得到訓練數據，使模型學到的分佈P(model)儘可能接近訓練數據的分佈P(train)。在衡量P(tra

>>阅读原文<<