協方差和相關係數

本文摘自《概率論和數理統計》 陳希孺著 中國科學技術大學出版社

協方差和相關係數

現在我們來考慮多維隨機向量的數字特徵。以二維的情況爲例，設 (X,Y) 爲二維隨機向量。 X,Y 本身都是一維隨機變量，可以定義爲其均值、方差，在本文中我們記

E(X)=m1,E(Y)=m2,Var(X)=σ21,Var(Y)=σ22

協方差定義

我們稱 E[(X−m1)(Y−m2)] 爲 X,Y 的協方差，並記爲 Cov(X,Y)∗ 。
「協」即「協同」的意思。 X 的方差是 X−m1 與 X−m1 的乘積的期望，如今把一個 X−m1 換爲 Y−m2 ，其形式接近方差，又有 X,Y 二者的參與，由此得出協方差的名稱。由定義看出， Cov(X,Y) 與 X,Y 的次序無關，即 Cov(X,Y)=Cov(Y,X) 。可直接由定義得到協方差的一些簡單性質。例如，若 c1,c2,c3,c4 都是常數，則，

Cov(c1X+c2,c3Y+c4)=c1c3Cov(X,Y) 公式（1）

又易知：

Cov(X,Y)=E(XY)−m1m2 公式（2）

這些簡單的證明就不在這裏證明了。

協方差的重要性質

定理1

1. 若 X,Y 獨立，則 Cov(X,Y)=0
2. [Cov(X,Y)]2≤σ21σ22 。等號成立僅當 X,Y 之間有嚴格的線性關係（即存在常熟 a,b ，使得 Y=a+bX ）時成立。

證明1

因爲當 X,Y 獨立的時候， E(XY)=m1m2 ，且 Cov(X,Y)=E(XY)−m1m2 ，故 Cov(XY)=m1m2−m1m2=0 。

證明2

---

預備小知識：

• 若 a,b,c 爲常數， a>0 ，而二次三項式 at2+2bt+c 對 t 任何實值都非負，則必有 ac≥b2 。（二次函數沒有實根 ）
• 如果隨機變量 Z 只能夠非負值，而 E(Z)=0 ，則 Z=0 。

證明小知識1：注意到若 ac<b2 ，則 at2+2bt+c=0 有兩個不同的實根 t1<t2 ，因而 at2+2bt+c=a(t−t1)(t−t2) 。取 t0 使 t1<t0<t2 ，則有 at20+2bt0+c=a(t−t0)(t0−t2)<0 ，與 at2+2bt+c 對任何 t 非負矛盾。這就證明了小知識的第一點。

證明小知識2：若 Z≠0 ，則因 Z 只能取非負值，它必以一定的大於0的概率取大於0的值，這將導致 E(Z)>0 ，與 E(Z)=0 的假定不符合。

---

現考慮：

E[t(X−m1)+(Y−m2)]2=σ21t2+2Cov(X,Y)t+σ22 公式（3）

由於此等式左邊是一個非負隨機變量的均值，故它對任何 t 非負。按預備知識1，有

σ21σ22≥[Cov(X,Y)]2 公式（4）

進一步，如果公式（4）等號成立，則公式（3）右邊等於 (σ1t±σ2)2 。 ± 號視 Cov(X,Y)>0 或 <0 而定，爲確定符合，暫設 Cov(X,Y)>0 ，則公式（3）右邊爲 (σ1t+σ2)2 。此式在 t=t0=−σ2/σ1 時爲0。以 t=t0 帶入公式（3），有：

E[t0(X−m1)+(Y−m2)]2=0

再按預備知識2，即知 t0(X−m1)+(Y−m2)=0 ，因而 X,Y 之間有嚴格線性關係。

反之，若 X,Y 之間有嚴格線性關係 Y=aX+b ，則

σ22=Var(Y)=Var(aX+b)=Var(aX)=a2Var(X)=a2σ21 ，

且

m2=E(Y)=aE(X)+b=am1+b ，

因而有

Y−m2=(aX+b)−(am1+b)=a(X−m1) 。

於是

Cov(X,Y)=E[(X−m1)a(X−m1)]=a[E(X−m1)]=aσ21

因此，

[Cov(X,Y)]2=a2σ4=σ21(a2σ2)=σ21σ22

即公式（4）等號成立，這就證明了定理1中第2個知識點的全部結論。

相關係數定義

定義：我們把 Cov(X,Y)σ1σ2 稱爲 X,Y 的相關係數，並記爲 Corr(X,Y)∗ 。
形式上可以把相關係數視爲「標準尺度下的協方差」。變量 X,Y 的協方差作爲 (X−m1)(Y−m2) 的均值，依賴於 X,Y 的度量單位，選擇適當單位使 X,Y 的方差都爲1，這協方差就是相關係數。這樣就能更好地反應 X,Y 之間的關係，不受單位影響。

定理

1. 若 X,Y 獨立，則 Corr(X,Y)=0 。
2. −1≤Corr(X,Y)≤1 ，或 ∣Corr(X,Y)∣≤1 ，等號當且僅當 X 和 Y 有嚴格的線性關係時能達到。

---

相關解釋：

第一條

當 Corr(X,Y)=0 ，（或 Cov(X,Y)=0 一樣）時，稱「 X,Y 不相關」。本定理1說明由 X,Y 的獨立性推出他們的不相關。但反過來一般不成立：由 Corr(X,Y)=0 不一定有 X,Y 獨立。下面是一個簡單的例子。

---

例子：

設 (X,Y) 服從單位圓內的均勻分佈，即其密度函數爲：

f(x,y)=⎧⎩⎨⎪⎪π−1 ,0 ,當x2+y2<1時當x2+y2≥1時

由於 x,y 是對稱的，故他們擁有相同的概率密度函數。概率密度函數的求法請往下找，這裏爲了排版美觀將其內容放在下方。由於 X,Y 擁有相同的邊緣密度函數，所以我們只求一個就可以了：

g(x)=∫1−x2√−1−x2√f(x,y)dy=∫1−x2√−1−x2√π−1dy={2π−11−x2‾‾‾‾‾‾‾√ ,0 , 當∣x∣<1時當∣x∣≥1時

這個函數關於0對稱，因此其均值爲0，故 E(X)=E(Y)=0 。而

Cov(X,Y)=E(XY)−m1m2=E(XY)=1π∬xydxdyx2+y2<1   =0

故 Corr(X,Y)=0 。但 X,Y 不獨立，因爲聯合密度 f(x,y) 不等於其邊緣密度之積 g(x)g(y) 。

---

第二條

相關係數也常稱爲「線性相關係數」。這是因爲，實際上相關係數並不是刻畫了 X,Y 之間「一般」關係的程度，而只是「線性關係的程度。這種說法的根據之一就在於，當且僅當 X,Y 具有嚴格的線性關係時，纔有 ∣Corr(X,Y)∣ 達到最大值1.可以容易舉出例子說明：即使 X 與 Y 有某種嚴格的函數關係但非線性關係， ∣Corr(X,Y)∣ 不僅不爲1，還可以爲0.

---

例子：

設 X∼R(−12,12) ，即區間 [−12,12] 內均勻分佈，而 Y=cosX ， Y 與 X 有嚴格的函數關係。但因 E(X)=0 ，得到：

Cov(X,Y)=E(XY)−m1m2=E(XY)=E(XcosX)=∫1/2−1/2xcosxdx=0

故， Corr(X,Y)=0 。雖然求出來的相關係數爲0，也就是所謂的「不相關」，它們之間確有着嚴格的關係 Y=cosX 。足見這樣的相關只能指線性而言，一超出了這個範圍，這個概念就失去了意義。

---

第三條

如果 0<∣Corr(X,Y)∣<1 ，則解釋爲： X,Y 之間有「一定程度的」線性關係而非嚴格的線性關係。何謂「一定程度」的線性關係？我們可以用下面的圖來說明一下。在這三幅圖中，我們都假定 (X,Y) 服從所畫區域A內的均勻分佈（即聯合概率密度 f(x,y) 在A內爲 ∣A∣−1 ，在A外爲0， ∣A∣ 爲區域A的面積）。在這三張圖中， X,Y 都沒有嚴格的線性關係，因爲由 X 的值不能決定 Y 的值。可是，由這幾個圖我們都能「感覺」出， X,Y 之間存在着一種線性的「趨勢」。這種趨勢，在圖（a）中已較顯著且是正向的（ X 增加 Y 傾向於增加），這相應於 Corr(X,Y) 大比較顯著地大於0。在（b）中，這種線性趨勢比（a）更明顯，程度更大，反映 ∣Corr(X,Y)∣ 比（a）的情況更大，但爲負向的。至於（c），則多少有一點線性傾向，但已經很微弱，所以 Corr(X,Y) 雖然大於0，但是很接近0。

---

邊緣密度函數

概率密度函數的求法如下：設 X=(X1,⋯,Xn) 有概率密度函數 f(x1,⋯,xn) ，�56em, -0.606em); top: -2.564em; left: 0em;">Xn)有概率密度函數 f(x1,⋯,xn) ，爲求分量 Xi 的概率密度函數，只需要把 f(x1,⋯,xn) 中的 x