信息論基礎--熵

熵是信息論的基礎理論,掌握和學習它十分重要。這裏介紹若干信息論中的相關概念,重點參考宗成慶老師的《統計自然語言處理》書籍和課件。也在這,強烈推薦下宗成慶老師的《統計自然語言處理》書籍和課件。 目錄 熵 聯合熵(joint entropy) 條件熵(conditional entropy) 連鎖規則---》log運算而來 熵率(entropy rate) 相對熵(KL距離) 交叉熵  困惑度(per
相關文章
相關標籤/搜索