馬爾可夫鏈與「熵」的結合（初稿）

針對隨機變量 X ，其熵 H(X)=-\sum_x p(x)\log_2 p(x) 可以衡量 X 的不確定度。 複雜一點，聯合分佈 (X,Y) ，熵爲 H(X,Y)=-\sum_x\sum_yp(x,y)\log_2p(x,y) 。 而當這裏的隨機變量 X 變成一個隨機過程 \{X_i\} 時，就有必要重新思考如何度量不確定度了。單個的定義 H(X_i) 不是很好，於是我們乾脆定義一個比較平均一點

>>阅读原文<<