信息論中的熵

導論 熱力學中的熵：是表示分子狀態混亂程度的物理量。 信息論中的熵：用來描述信源的不確定性大小（信息論創始人香農借用了熱力學中熵的概念）。 目前在機器學習、深度學習中經常看到與熵有關的概念。 經常使用的熵概念有下列幾種： 信息熵（本節內容） 交叉熵 相對熵 條件熵 互信熵 熵和信息的區別 此刻的你接受着我所產生的文字、圖片，但你知道我所傳遞的內容並不是這些媒介本身，而是信息。我們時時刻刻都在獲取信

>>阅读原文<<