Python實現計算信息增益的香農熵

香農熵公式： # -*- coding:utf-8 -*- import math __author__ = 'yangxin' """ 一條信息的信息量大小和它的不確定性有直接的關係。比如說，我們要搞清楚一件非常非常不確定的事，或是我們一無所知的事情， 就需要了解大量的信息。相反，如果我們對某件事已經有了較多的瞭解，我們不需要太多的信息就能把它搞清楚。 所以，從這個角度，我們可以認爲，信息量的

>>阅读原文<<