從GCN中學習的信息熵

之前在GCN中碰到的交叉熵損失函數是分類問題中經常使用的一種損失函數，對於其內部原理感覺沒有完全懂，今天來深入理解一下。 交叉熵簡介 交叉熵 ：信息論中的一個重要概念，主要用於度量兩個概率分佈間的差異性 信息是用來消除隨機不確定性的東西」，衡量信息量的大小就是看這個信息消除不確定性的程度。 「太陽東昇西落」，這條信息並沒有減少不確定性，因爲太陽肯定是從東邊升起西邊落下，這是一句人人都知道的話，信息

>>阅读原文<<