【深度學習筆記】初步理解交叉熵（Cross Entropy）

交叉熵是信息論中的一個重要概念，用於衡量兩個概率分佈之間的差異。在機器學習中常用作損失函數。本文主要參考《Visual Information Theory》,結合本科課程學習過的《通信原理》,希望能較爲直觀地初步理解交叉熵概念 一、何爲熵     熵可以理解爲通信中的最短平均碼長。作者假想了一個人叫Bob,Bob和作者通信，只使用四個單詞："dog"、「cat」、「fish」、"bird」。這四

>>阅读原文<<