國科大UCAS胡包鋼教授《信息論與機器學習》課程第二講：信息論基礎一

來源：專知 信息論中最爲基本的概念就是香農熵（第8頁），由此可以導出信息論中其它各種定義，以至我們常規應用的其它經驗式定義（以後會提到）。學習信息論基礎知識時要避免僅是概念與定義的簡單記憶，要儘量結合個人研究領域中的問題進行思考，並給出個人理解（如第20頁中監督學習中的解釋與思考）。這樣有益於未來更快地發展創新工作。還要明白信息論理論仍在發展中，包括各種熵定義的不斷出現。我們在第28頁中示例了傳統

>>阅读原文<<