機率筆記12——多維正態分佈的最大似然估計

　　咱們在前面的章節中見識過二維正態分佈，(X,Y)服從參數爲μ₁, μ₂, σ₁, σ₂, ρ的二維正態分佈，記做(X, Y)~N(μ₁, μ₂, σ₁, σ₂, ρ)，它的密度函數：

　　其中μ₁是第1維度的均值，σ₁²是第1維度的方差，ρ是將兩個維度的相關性規範到-1到+1之間的統計量，稱爲樣本的相關係數，定義爲：

　　對於二維正態隨機變量(X,Y)，X和Y相互獨立的充要條件是兩者的協方差爲0，也就是參數ρ=0。因爲一維隨機變量沒有是否獨立一說，ρ必定是0，所以沒有在一維隨機變量的正態分佈中體現ρ。

　　下圖是一個標準二維正態分佈和其在x-z，y-z平面的投影：

多維正態分佈

　　如今推廣到多維，爲了便於表達，咱們用向量的形式表示隨機變量和參數，對於n維隨機變量：

　　這裏只考慮全部維度變量互相獨立的狀況，即ρ=0的狀況，此時密度函數可表示爲：

　　上面的結果告訴咱們，在各維度相互獨立的狀況下，多維正態分佈的機率密度其實就是各個維度的正態分佈密度函數的乘積。

　　在①中：

　　σ_i²表示x_i的方差，如此看來，中間那個矩陣其實是協方差矩陣的逆矩陣：

　　根據行列式的性質，上三角矩陣的行列式等於主對角線全部元素的乘積，斜對角矩陣固然也是一個上三角矩陣，所以協方差矩陣的行列式是：

　　將②、③代入①中，獲得最終結果：

最大似然估計量

　　n維相互獨立的隨機變量x服從正態分佈：

　　在求最大似然估計量時和一維隨機變量有所區別，根據上一節的最終結果：

　　假設有m個可觀察樣本，那麼最大似然函數是：

　　其對數似然函數是：

　　其中m和n是已知的，C 是一個常數。

　　求極值須要對μ和∑求偏導：

　　μ和∑是矩陣，涉及到矩陣的求導法則。先看對μ的求導，lnL由3個因子組成，只有一個因子含有μ，所以：

　　其中：

　　上式中：

　　所以：

　　將該結論代入∂lnL/∂μ中：

　　μ和∑是矩陣，根據矩陣的求導法則：

　　由於∑^-1是一個對稱矩陣，所以：

　　根據矩陣的求導法則：

　　將a₁，a₂代入∂lnL/∂μ 中：

　　

　　

　　再看對∑求偏導：

　　∑和∑^-1都是實對稱矩陣，根據矩陣的求導法則，當A是實對稱矩陣時：

　　再看b₂。設ω_pq是∑第p行第q列的元素，E_pq是一個第p行第q列元素爲1，其它元素全爲0的矩陣，E與∑^-1同階。根據矩陣的求導公式：

　　已經知道了∑^-1是一個對稱矩陣，矩陣乘法知足結合律，在不改變矩陣順序的條件下能夠任意加括號：

　　其中(∑^-1(x⁽ⁱ⁾-μ))^T是一個1*n的矩陣，(∑^-1(x⁽ⁱ⁾-μ))^T_p表示矩陣中的第p個元素；∑^-1(x⁽ⁱ⁾-μ)是一個n*1的矩陣，(∑^-1(x⁽ⁱ⁾-μ))_q表示矩陣中的第q個元素。將該結論推廣到矩陣對矩陣的的求導，根據矩陣對矩陣的求導公式：

　　其中：

　　在A₁中，(∑^-1(x⁽ⁱ⁾-μ))^T是一個1*n的矩陣，(∑^-1(x⁽ⁱ⁾-μ))^T_i表示矩陣中的第i個元素，是一個標量；∑^-1(x⁽ⁱ⁾-μ)是一個n*1的矩陣，(∑^-1(x⁽ⁱ⁾-μ))_i表示矩陣中的第i個元素，也是一個標量，所以：

　　終於能夠求得b₂了：

　　如今能夠看看最終的似然函數：

　　I是單位矩陣，∑^-1I=∑^-1：

　　等號兩側同時左乘∑：

　　兩側同時右乘∑：

　　最終解得：

　　最終結論，多維正態分佈的最大似然估計量是：

　　

---

　　做者：我是8位的

　　出處：http://www.cnblogs.com/bigmonkey

　　本文以學習、研究和分享爲主，如需轉載，請聯繫本人，標明做者和出處，非商業用途！ 

　　掃描二維碼關注公做者衆號「我是8位的」