統計基礎---方差，協方差，協方差矩陣

本章主要是對方差，協方差，協方差矩陣進行一個總結，由於在下老是喜歡把這幾者弄混淆。

一. 方差

     方差是用來表徵數據，或樣本的離散程度的一個指標。當數據分佈比較分散（即數據在平均數附近波動較大）時，各個數據與平均數的差的平方和較大，方差就較大；當數據分佈比較集中時，各個數據與平均數的差的平方和較小。所以方差越大，數據的波動越大；方差越小，數據的波動就越小。

      樣本中各數據與 樣本平均數的差的平方和的平均數叫作樣本方差；樣本方差的 算術平方根叫作樣本 標準差。樣本方差和樣本標準差都是衡量一個樣本波動大小的量，樣本方差或樣本標準差越大，樣本數據的波動就越大。

方差和標準差是測算離散趨勢最重要、最經常使用的指標。方差是各變量值與其 均值 離差平方的平均數，它是測算 數值型數據 離散程度的最重要的方法。 標準差爲方差的算術平方根，用S表示。方差相應的計算公式爲：

                                                         

標準差與方差不一樣的是，標準差和變量的計算單位相同，比方差清楚，所以不少時候咱們分析的時候更多的使用的是標準差。

     離散型隨機變量方差計算公式：D(X)=E{[X-E(X)]^2}=E(X^2) - [ E(X)]^2

     連續型隨機變量方差的計算公式：　D(X)=

   

(x-μ)^2 f(x) dx

二. 協方差

     協方差是衡量兩個變量間的整體偏差，當兩個兩量相同時，即爲方差，也就是說方差是協方差的一種特殊狀況。

     指望值分別爲 E[ X]與 E[ Y]的兩個實隨機變量 X與 Y之間的協方差 Cov(X,Y)定義爲：

 

    若是兩個變量的變化趨勢一致，也就是說若是其中一個大於自身的指望值時另一個也大於自身的指望值，那麼兩個變量之間的協方差就是正值；若是兩個變量的變化趨勢相反，即其中一個變量大於自身的指望值時另一個卻小於自身的指望值，那麼兩個變量之間的協方差就是負值。 若是X與Y是統計獨立的，那麼兩者之間的協方差就是0，由於兩個獨立的隨機變量知足E[XY]=E[X]E[Y]。 可是，反過來並不成立。即若是X與Y的協方差爲0，兩者並不必定是統計獨立的。協方差爲0的兩個隨機變量稱爲是 不相關的。

三. 協方差矩陣

    分別爲m與n個標量元素的列向量隨機變量X與Y，這兩個變量之間的協方差定義爲m×n矩陣.其中X包含變量X1.X2......Xm,Y包含變量Y1.Y2......Yn,假設X1的指望值爲μ1，Y2的指望值爲v2，那麼在協方差矩陣中（1,2）的元素就是X1和Y2的協方差。