自然語言處理基礎之信息熵，交叉熵，相對熵

本文主要介紹信息論基本相關知識，這些知識在機器學習中的相關算法的基礎，是學習機器學習及深度學習的基礎知識。本文具體介紹信息熵、交叉熵及相對熵，需要深入瞭解信息論知識，請參考《信息論基礎》。 1）信息熵（Information Entropy）        信息熵來源於克勞德·愛爾伍德·香農的信息論，在介紹信息熵之前，我們先來了解信息量的概念。        人類交流可以理解信息的交流。你接收的任

>>阅读原文<<