機器學習—熵

1.熵 熵：度量了事物的不確定性，越不確定的事物，它的熵就越大。                                                 其中n代表X的n種不同的離散取值。而pipi代表了X取值爲i的概率，log爲以2或者e爲底的對數。舉個例子，比如X有2個可能的取值，而這兩個取值各爲1/2時X的熵最大， 2.聯合件熵                            

>>阅读原文<<