直擊信息本質 - 信息論

信息論 前言 定義 信息熵 例 信息分析與結果 算法設計 圖 算法原理 算法拓展 問題變種 變種1 變種2 關聯 排序 存送門 前言 在信息論中，認爲信源輸出的消息是隨機的。即在未收到消息之前，是不能肯定信源到底發送什麼樣的消息。信源隨機總數即爲信息總量。信息論，熵的計算從理論上告訴了算法或邏輯的最好性能上限。 定義 信息熵 信息熵的計算公式爲 式中對數一般取2爲底，單位爲比特。但是，也可以取其它

>>阅读原文<<