【機器學習】一文理清信息熵，相對熵，交叉熵

初學者在搞清楚這個三個信息論的大怪獸時，往往會暈頭轉向。本文將簡要的對這三個概念進行理清，文章儘量通俗，有不對的地方懇請斧正。 信息熵： 香農提出信息熵主要是用來解決對信息的量化度量問題，比如說存在選項【A,B,C,D】，若每個字母都用8位Ascii碼存儲，則表示這個四個選項需要32位bit。 如果此時採用二進制的話，4個選項用2位bit便可表示【00,01,10,11】。於是對4個選項信息進行量

>>阅读原文<<