機率論12 矩與矩生成函數

做者：Vamei 出處：http://www.cnblogs.com/vamei 歡迎轉載，也請保留這段聲明。謝謝！

 

咱們從新回到對單隨機變量分佈的研究。描述量是從分佈中提取出的一個數值，用來表示分佈的某個特徵。以前使用了兩個描述量，即指望和方差。在指望和方差以外，還有其它的描述量嗎？

 

斜度

值得思考的是，指望和方差足以用來描述一個分佈嗎？若是答案是能夠，那麼咱們就沒有必要尋找其它描述量的。事實上，這兩個描述量並不足以完整的描述一個分佈。

 

咱們來看兩個分佈，一個是指數分佈:

$$f(x) = \left\{ \begin{array}{rcl} e^{x} & if & x \ge 0 \\ 0 & if & x < 0 \end{array} \right.$$

它的指望爲[$E(x) = 1$]，方差爲[$Var(x) = 1$]。

咱們用Y = 2-X來得到一個新的隨機變量，及其分佈:

$$f(y) = \left\{ \begin{array}{rcl} e^{2-y} & if & y \le 2 \\ 0 & if & y > 2 \end{array} \right.$$
該密度曲線與原來的密度曲線關於直線X=1對稱，與原來的分佈有相同的指望值和方差。指望爲[$E(x) = 1$]，方差爲[$Var(x) = 1$]

咱們繪製兩個分佈的密度曲線，以下圖:


能夠看到，即便指望值和方差保持不變，兩個分佈曲線明顯不一樣。第一條曲線下的面積偏向左，而第二條曲線則向右側傾斜。爲了表達分佈的這一特徵，咱們引入一個新的描述量，斜度(skewness)。它的定義以下:
$$Skew(X) = E[(X - \mu)^3]$$
上面兩個分佈，第一條曲線向左偏斜，斜度分別爲2。另外一條曲線的斜度爲-2。很明顯，斜度的不一樣能夠帶來差異巨大的分佈(即便指望和方差都相同)。

 

繪製程序以下

from scipy.stats import expon
import numpy as np
import matplotlib.pyplot as plt

rv = expon(scale = 1)
x1  = np.linspace(0, 20, 100)
x2  = np.linspace(-18, 2, 100)
y1 =  rv.pdf(x1)
y2 =  rv.pdf(2 - x2)

plt.fill_between(x1, y1, 0.0, color = "green")
plt.fill_between(x2, y2, 0.0, color = "coral", alpha = 0.5)

plt.xlim([-6, 8])
plt.title("two distribution")
plt.xlabel("RV")
plt.ylabel("f(x)")

plt.show()

 

矩

觀察方差和斜度的定義，
$$Var(X) = E[(X - \mu)^2]$$
$$Skew(X) = E[(X - \mu)^3]$$
都是X的函數的指望。它們的區別只在於函數的形式，即[$(X - \mu)$]的乘方次數不一樣。方差爲2次方，斜度爲3次方。

上面的描述量均可以歸爲「矩」(moment)的一族描述量。相似於方差和斜度這樣的，它們都是[$(X - \mu)$]乘方的指望，稱爲中心矩(central moment)。[$E[(x - \mu)^k]$]稱爲k階中心矩，表示爲[$\mu_k$]，其中k = 2, 3, 4, ...

 

還有另外一種是原點矩(moment about the origin)，是[$X$]乘方的指望。 [$E[X^k]$]稱爲k階原點矩，表示爲[$\mu_k^\prime$]，其中k = 1, 2, 3, ...

指望是一階原點矩:
$$E(X) = E(X^1)$$

矩生成函數

除了表示中心、離散程序、斜度這些特性外，更高階的矩能夠描述分佈的其它特性。矩統計中有重要的地位，好比參數估計的一種重要方法就是利用了矩。然而，根據矩的定義，咱們須要對不一樣階的X冪求指望，這個過程包含複雜的積分過程，並不容易。矩一樣催生了矩生成函數(moment generating function)，它是求解矩的同樣有力武器。

 

在瞭解矩生成函數以前，先來回顧冪級數(power series)。冪級數是不一樣階數的乘方(好比[$1, x, x^2, x^3...$])的加權總和：

$$\sum_{i=1}^{+\infty} a_ix^i$$

[$a_i$]是一個常數。

 

冪級數是數學中的重要工具，它的美妙之處在於，解析函數均可以寫成冪級數的形式，好比三角函數[$\sin(x)$]能夠寫成：

$$\sin(x) = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \frac{x^7}{7!} + ...$$

將解析函數分解爲冪級數的過程，就是泰勒分解(Taylor）。咱們再也不深刻其具體過程。[$x^n$]是很簡單的一種函數形式，它能夠無限次求導，求導也很容易。這一特性讓冪級數變得很容易處理。將解析函數寫成冪級數，就起到化繁爲簡的效果。

(冪級數這一工具在數學上的用途極其普遍，它用於數學分析、微分方程、複變函數…… 不能不說，數學家很會活用一種研究透了的工具)

 

若是咱們將冪級數的x看做隨機變量X，並求指望。根據指望能夠線性相加的特徵，有:

$$E(f(X)) = a_0 + a_1E(X) + a_2E(X^2) + a_3E(X^3) +  ... $$

咱們能夠經過矩，來計算f(X)的指望。

 

另外一方面，咱們能否經過解析函數來得到矩呢？咱們觀察下面一個指數函數，寫成冪級數的形式：

$$e^{tx} = 1 + tx + \frac{(tx)^2}{2!} + \frac{(tx)^3}{3!} + \frac{(tx)^4}{4!} ... $$

咱們再次將x看做隨機變量X，並對兩側求指望，即

$$E(e^{tX}) = 1 + tE(X) + \frac{t^2E(X^2)}{2!} + \frac{t^3E(X^3)}{3!} + \frac{t^4E(X^4)}{4!} ...$$

即便隨機變量的分佈肯定，[$E(e^{tX})$]的值仍是會隨t的變化而變化，所以這是一個關於t的函數。咱們將它記爲[$M(t)$]，這就是矩生成函數(moment generating function)。對[$M(t)$]的級數形式求導，並讓t等於0，可讓高階的t的乘方消失，只留下[$E(X)$]，即

$$M'(0) = E(X)$$

即一階矩。若是繼續求高階導，並讓t等於0，能夠得到高階的矩。

$$M^{\left( r \right)}(0) = E(X^r)$$

有趣的是，屢次求導係數正好等於冪級數係數中的階乘，因此能夠獲得上面優美的形式。咱們經過冪級數的形式證實了，對矩生成函數求導，能夠得到各階的矩。相對於積分，求導是一個容易進行的操做。

 

矩生成函數的性質

矩生成函數的一面是冪級數，咱們已經說了不少。矩生成函數的另外一面，是它的指數函數的解析形式。即

$$M(t) = E[e^{tX}]= \int_{- \infty}^{\infty}e^{tx}f(x)dx$$

在咱們獲知了f(x)的具體形式以後，咱們能夠利用該積分得到矩生成函數，而後求得各階的矩。固然，你也能夠經過矩的定義來求矩。但許多狀況下，上面指數形式的積分可使用一些已有的結果，因此很容易得到矩生成函數。矩生成函數的求解矩的方式會便利許多。

 

矩生成函數的這必定義基於指望，所以可使用指望的一些性質，產生有趣的結果。

 

性質1 若是X的矩生成函數爲[$$M_X(t)]，且[$Y = aX + b$]，那麼

$$M_Y(t) = e^{at}M_X(bt)$$

(將Y寫成指數形式的指望，很容易證實該結論)

 

性質2 若是X和Y是獨立隨機變量，分別有矩生成函數[$M_X, M_Y$]。那麼對於隨機變量[$Z = X + Y$]，有

$$M_Z(t) = M_X(t)M_Y(t)$$ 

(基於獨立隨機變量乘積的指望，等於隨機變量指望的乘積)

 

練習:

推導Poisson分佈的矩生成函數

 

總結

矩

矩生成函數