機率統計：數學指望、方差、協方差、相關係數、矩

摘要：最近在學習機器學習/數據挖掘的算法,在看一些paper的時候常常會遇到之前學過的數學公式或者名詞,又是老是想不起來,因此在此記錄下本身的數學複習過程,方便後面查閱。

1：數學指望

數學指望是隨機變量的重要特徵之一,隨機變量X的數學指望記爲E(X),E(X)是X的算術平均的近似值,數學指望表示了X的平均值大小。

• 當X爲離散型隨機變量時,而且其分佈律爲 P(X=x_k) ＝ pk   ,其中k=1,2,…,n；則數學指望（要求絕對收斂）.
• 當X爲連續型隨機變量時,設其機率密度爲f(x),則數學指望爲（要求絕對收斂）.

 

2:  方差

數學指望給出了隨機變量的平均大小,現實生活中咱們還常常關心隨機變量的取值在均值周圍的散佈程度,而方差就是這樣的一個數字特徵。

設X是隨機變量,而且E{[X-E(X)²]}存在,則稱它爲X的方差,記爲D(X)。

• 當X爲離散型時,D(x) = .
• 當X爲連續型時,D(x) = .

方差的算術平方根爲X的標準差。

另外,D(X) = E{[X-E(X)²]} 通過化解可得 D(X) = E(X²) – [E(X)]²  .咱們通常計算的時候經常使用這個式子。

 

3： 協方差

對於二維的隨機變量(X,Y)，咱們還要討論它們的相互關係,協方差就是一個這樣的數字特徵。

由於E{[X-E(X)][Y-E[Y]]} = E(XY) – E(X)E(Y).

又當X,Y相互獨立的時候E(XY) = E(X)E(Y).這意味着若E{[X-E(X)][Y-E[Y]]} ≠ 0 ,則X與Y是存在必定關係的。

咱們把E{[X-E(X)][Y-E[Y]]} 稱爲隨機變量X與Y的協方差。記爲Cov(X,Y).

即：Cov(X,Y) = E{[X-E(X)][Y-E[Y]]}

 

4：相關係數

協方差在某種意義上是表示了兩個隨機變量間的關係,可是Cov(X,Y)的取值大小與X,Y的量綱有關,不方便分析,因此爲了不這一點,咱們用X,Y的標準化隨機變量來討論。

咱們稱爲隨機變量X與Y的相關係數,記爲(無量綱)。

其中爲X,Y的協方差即Cov(X,Y),D(X),D(Y)分別是X,Y的方差且D(X)>0，D(Y)>0。

關於相關係數，咱們有下面的性質：

• || ≤ 1
• || = 1 的充要條件是X 與 Y 以機率 1 存在線性關係，即 P{Y = a +bX} = 1, a,b是常數。
• 若 = 0,則說明X,Y不相關而且X與Y不存在線性關係。
• 若隨機變量X,Y相互獨立，則 = 0，即X,Y不相關。

注意：兩個不相關的隨機變量，不必定相互獨立,有一特殊狀況是,當隨機變量X,Y服從二維正態分佈的時候,獨立與不相關等價。

• 不相關只能說明X與Y不存在線性關係。
• 獨立說明X與Y既不存在線性關係,也不存在非線性關係。

 

5：矩

矩(moment)是最普遍的一種數字特徵,經常使用的矩有兩種：原點矩和中心矩。

原點矩：

對於正整數k，稱隨機變量X的k次冪的數學指望爲X的k階原點矩：即  E(X^k) ,k=1,2,…n.

數學指望就是一階原點矩。

中心矩：

對於正整數k，稱隨機變量X與E（X）差的k次冪的數學指望爲X的k階中心矩：即 E{X-E[X^K]},K=1,2,…n.

方差就是二階中心矩。