國科大UCAS胡包鋼教授《信息論與機器學習》課程第二講：信息論基礎一

來源：專知機器學習 信息論中最爲基本的概念就是香農熵（第8頁），由此能夠導出信息論中其它各類定義，以致咱們常規應用的其它經驗式定義（之後會提到）。學習信息論基礎知識時要避免僅是概念與定義的簡單記憶，要儘可能結合我的研究領域中的問題進行思考，並給出我的理解（如第20頁中監督學習中的解釋與思考）。這樣有益於將來更快地發展創新工做。還要明白信息論理論仍在發展中，包括各類熵定義的不斷出現。咱們在第28頁中

>>阅读原文<<