熵，信息熵，最大熵，交叉熵，交叉熵，損失函數，隨機熵，vc熵的區別和聯繫

1 熵的定義起源於物理學領域。熱力學中表徵物質狀態的參量之一，用符號S表示，其物理意義是體系混亂程度的度量，簡單的可以表述爲，在一個孤立系統中，熵總是增大，朝無序的方向發展。 2 在信息論中，熵是信息熵,熵代表了信息量，系統狀態越少，熵越少。系統越複雜，熵越大，定義如下，     H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi))

>>阅读原文<<