【機器學習】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）

首先先強烈推薦一篇外文博客Visual Information Theory這個博客的博主colah是個著名的計算機知識科普達人，以前很是著名的那篇LSTM講解的文章也是他寫的。這篇文章詳細講解了信息論中許多基本概念的前因後果，並且很是的直觀用了大量的圖片，和形象化的解釋。git 信息量 信息量用一個信息所須要的編碼長度來定義,而一個信息的編碼長度跟其出現的機率呈負相關,由於一個短編碼的代價也是巨

>>阅读原文<<