機器學習中的各種熵

請聽題:什麼是熵？什麼是交叉熵？什麼是聯合熵？什麼是條件熵？什麼是相對熵？它們的聯繫與區別是什麼？ 1 從隨機變量說起 假設有一枚硬幣，將其拋出，落下後朝上的面爲y。 其中，y是對未知量的一個表示。但它的值卻是不確定的，可能取正面和反面兩個值。 這類包含不確定性的變量稱爲隨機變量。統計學就是研究這類不確定性變量的工具。 刻畫隨機變量最有力的一個工具就是它的概率分佈。有了概率分佈，可以說對一個隨機變

>>阅读原文<<