機器學習 信息論 Information theory 的一些point

                信息論(Information theory)的一些points ①—熵(entropy)           對於一個變量X~p（X服從p分佈），該變量的熵是 描述該變量的不確定性的一個值           eg:對於一個有k個狀態的離散隨機變量X，有                      a.當log以2爲底的時候稱之爲 bits,結果可以視爲多少個二進制

>>阅读原文<<