【機器學習理論】機率論與數理統計--獨立和不相關

獨立和互斥的區別在此省略，比較好理解。

 

首先咱們看協方差的定義:

　　　　　　　　　　　　Cov(X, Y) = E{[X - E(X)][Y - E(Y)]}.

協方差的性質有:

　　　　　　　　　　　　Cov(X, Y) = Cov(Y, X)

　　　　　　　　　　　　Cov(aX+b, cY+d) = acCov(X, Y)

　　　　　　　　　　　　Cov(X₁+X₂, Y) = Cov(X₁, Y) + Cov(X₂, Y) 

　　　　　　　　　　　　Cov(X, Y) = E(XY) - E(X)E(Y)

 

若兩變量X和Y相互獨立，E(XY) = E(X)E(Y)，而Cov(X, Y) = E(XY) - E(X)E(Y), 從而，當X和Y獨立時，Cov(X, Y) = 0；反之不成立，若E(XY) = E(X)E(Y),即Cov(X, Y) = 0, 只能說明X和Y不相關，而不能說他們獨立。(注:咱們說的相不相關指的是是否線性相關)

如何理解呢？舉一個例子

畫一個二維直角座標軸，(X,Y)均勻分佈在單位圓X²+Y²=1上。

①那麼此時X和Y不是線性相關的，即相關係數爲0.

　　　文字解釋：按線性迴歸來說，直線的截距是可負可正可0的，只有對應的x和y都知足直線方程才能說是X和Y是線性相關，但顯然，只有過原點才知足，其他狀況知足不了，故X和Y是不相關的。

　　　數學解釋: E(X|Y) = E(Y|X) = 0, 因此 E(X) = E(Y) = 0，並且  E(XY) = E(Y)E(X|Y) = E(X)E(Y|X) = 0, 因此 Cov(X, Y) = E(XY) - E(X)E(Y) = 0

②但兩個變量並非獨立的，由於X的取值對於Y的取值是有影響的。