機器學習之 各種熵詳解

本文爲轉載博文，原文地址: https://www.jianshu.com/p/09b70253c840 請聽題：什麼是熵？什麼是交叉熵？什麼是聯合熵？什麼是條件熵？什麼是相對熵？它們的聯繫與區別是什麼？ 如果你感到回答這些問題有些吃力，對這些概念似乎清楚，似乎又沒有那麼明白，那這篇文章就是爲你準備的。 1 從隨機變量說起 假設有一枚硬幣，將其拋出，落下後朝上的面爲y。 這裏的y是對未知量的一個表

>>阅读原文<<