熵、聯和熵與條件熵、交叉熵與相對熵是什麼呢？來這裏有詳細解讀！

熵是一個很常見的名詞，在物理上有重要的評估意義，自然語言處理的預備知識中，熵作爲信息論的基本和重點知識，在這裏我來記錄一下學習的總結，並以此與大家分享。 信息論基本知識 1、熵 2、聯和熵與條件熵 3、互信息 4、交叉熵與相對熵 5、困惑度 6、總結 1、熵 熵也被稱爲自信息，描述一個隨機變量的不確定性的數量。熵越大，表明不確定性越大，所包含的信息量也越大，就說明很難去預測事件行爲或者正確估值。

>>阅读原文<<