機器學習與文本中的各種熵

認識各種熵 熵 信息熵 聯合熵與條件熵 相對熵，互信息，交叉熵 相對熵(又叫 KL 距離，信息增益) 的定義如下： JS散度（Jensen-Shannon divergence） 兩個隨機變量X和 Y，它們的互信息定義爲： 交叉熵的定義如下: 文本中的熵 熵爲什麼用log 熵 假如一個朋友告訴你外面下雨了，你也許覺得不怎麼新奇，因爲下雨是很平常的 一件事情，但是如果他告訴你他見到外星人了，那麼你就

>>阅读原文<<