（原創）機器學習之機率與統計（一）- 隨機變量及其分佈

目錄

1、 機率公理及推論... 2

1.    聯合機率... 2

2.    條件機率... 2

3.    全機率公式... 2

4.    貝葉斯公式... 2

2、 隨機變量及其分佈... 2

1.    隨機變量... 2

2.    累積分佈函數CDF. 2

3.    機率函數pmf2

4.    機率密度函數pdf3

5.    隨機變量的分佈... 3

5.1     分佈的概述... 3

5.2     位置描述... 3

5.3散佈程度描述... 4

3、 常見隨機變量機率分佈... 5

1.    常見離散型隨機變量... 5

1.1二項分佈（Binomial）... 5

1.2 Bernoulli分佈... 5

1.3多項分佈（Multinomial）... 5

2．常見離散型隨機變量... 5

2.1均勻分佈... 5

2.2高斯分佈... 5

2.3 Laplace分佈... 6

2.4 Gamma分佈... 6

2.5 Beta分佈... 7

2.6 Dirichlet分佈... 7

2.7 混合分佈... 7

2.8混合高斯模型... 7

4、 抽樣分佈... 8

1.   獨立同分布（IID）... 8

2．抽樣分佈... 8

3．樣本均值和樣本方差... 8

4．弱大數定理（WLLN）... 8

5．中心極限定理（Central Limit Theorem, CLT）... 9

5、 分佈估計... 9

1．參數估計... 9

2．非參數估計... 9

2.1直方圖估計... 9

2.2核密度估計... 10

2.3根據有限個統計量估計（極大熵原理）... 10

 

 

1、  機率公理及推論

1.   聯合機率

對任意兩個時間A和B，則有：

P(A , B) = P(A∩B) = P(B)P (A|B) = P(A)P (B|A)

2.   條件機率

當P(B)＞0時，給定B發生時，A的條件機率是：

      

 

 

3.   全機率公式

A₁, …, A_K爲A的一個子集，則對任意事件B，有：

 

 

 

注：能夠把B事件發生的機率看做是全部在A條件下發生B的機率的權重之和，P(A)能夠當作一個權重。

4.   貝葉斯公式

　　A₁, …, A_K爲A的一個子集，k=1,2, …,K。若P(B)＞0，P(A)＞0，則有

 

 

其中：爲後驗機率，爲先驗機率。

 

2、  隨機變量及其分佈

1.   隨機變量

隨機變量是一個函數，將一個實數值映射到一個試驗的每個輸出。即將每個事件映射到衡量這個事件的每個數據。是隨機事件與數據之間的聯繫起來的紐帶：

　　f(事件) = 數據

　　f()稱爲隨機變量。

  　注：

　　1）數據是隨機變量的具體值

　　2）統計量是數據或者隨機變量的任何函數

　　3）任何隨機變量的函數仍然是隨機變量

2.   累積分佈函數CDF

設X爲一個隨機變量，x爲X的一具體值(即數據)，則隨機變量X的累積分佈函數（cumulative

distribution function, CDF）的定義：

F(X) = P(X ≤ x )         （F：R->[0,1]）

       CDF包含了隨機變量的全部信息。

3.   機率函數pmf

離散型隨機變量的機率函數（probability mass function, pmf)）的定義：

　　p(x) = P(X=x)

性質：

　　1）對於全部x∈R，p(x) ≥ 0

　　2）

　　3）CDF和pmf之間的關係：

4.   機率密度函數pdf

連續型隨機變量X的機率密度函數（probability density function, pdf)）的定義：

對全部的x知足：

           其中，p(x)≥0，a≤b

 

則稱p爲機率密度函數。

性質：

　　1）p(x)沒必要≤1

　　2）CDF與pdf間的關係：

當F可微時，  ；

 

 

5.   隨機變量的分佈

5.1  分佈的概述

單值描述來刻畫某個分佈的性質：

　　（1）   位置描述

   指望、中值、衆數、分位數

　　（2）   散佈程度描述

  方差、四分位矩(IQR)

5.2  位置描述

5.2.1指望

       （1）實質

隨機變量的平均值，即機率的加權平均，一階矩。

       （2）連續狀況下的定義：

                    

 

 

（3）離散狀況下的定義：

 

 

       （4）指望的性質

                1）線性運算

                            E(aX + b) = aE(X) + b

                2）加法規則

                            X₁,…,X_n是隨機變量，a₁,…,a_n是常數，則：

                           

 

3）乘法規則

X₁,…,X_n是相互獨立的隨機變量，則：

        

 

 

5.2.2 衆數（mode）

       定義：隨機變量次數出現最多的位置，即隨機變量出現機率最大的位置：

                 設隨機變量X有密度p(x)，存在x₀知足：

                    

 

 

                     則稱x₀爲隨機變量X的衆數。

5.2.3 中值（Median）

       隨機變量的累積分佈函數（CDF）爲0.5時的隨機變量的值：

       當P(X ≤ x₀ ) = 0.5 時，x₀稱爲隨機變量X的中值。

5.2.3 分位數

       定義：分位數（分位函數quantile function）是隨機變量X的CDF的反函數:

                    

                     其中，α∈[0,1]，inf表示下界。

           性質：

                 1）爲增函數

                 2）中值：

                 3）上下1/4分位數：，

5.3散佈程度描述

5.3.1 方差

（1）k階矩

       隨機變量X的k階矩定義爲 E(X^k)

（2）方差

       方差，即爲二階矩:

             

             

       標準差：

               

 

 

（3）實質

        刻畫隨機變量X圍繞均值的離散程度， 方差越大，X的變化越大。

（4）方差的性質

1）

2）a,b是常數，V(aX+b) = a²V(X)

3）若是X₁,…,X_n相互獨立，a₁,…,a_n爲常數，則

 

 

5.3.1四分位矩(IQR)

25%分位數到75%分位數之間的區間

 

3、  常見隨機變量機率分佈

1.   常見離散型隨機變量

1.1 二項分佈（Binomial）

      n次試驗，事件發生的數目X知足二項分佈，記爲：x ~ Bin(n,θ):

                其中，組合

　特性：

　　（1）   指望：μ=nθ

　　（2）   方差：V=nθ(1-θ)

1.2 Bernoulli分佈

       若是二次分佈只進行一次試驗，則爲Bernoulli分佈。Bernoulli分佈又名0-1分佈，若試驗成功則隨機變量X取1，不然X取0，成功的機率爲θ，即：

       P(X=1) = θ，P(X=0) = 1-θ，θ∈[0,1]

　　參數爲θ的Bernoulli分佈，記爲x ~ Ber(θ):

     

 

 

                  =  (其中，x=0,1)

　　特性：

　　    （1）   指望：μ=θ

　　    （2）   方差：V=θ(1-θ)

1.3多項分佈（Multinomial）

   假設某個試驗一共可能發生j個事件，第j個事件發生的機率爲θ_j，令θ= (θ₁, …,θ_k)，若是一共進行n次試驗，X=(x₁, …, x_k)爲隨機向量，其中x_k表示事件發生次數，X的分佈爲多項分佈:x~Mu(n, θ)。

2．常見離散型隨機變量

2.1均勻分佈

X ~ Uniform(a, b):

2.2高斯分佈

       X ~ N (μ, δ² )：(μ：指望，δ²：方差):

        

　　特性：

　　　　（1）   高斯分佈的CDF：

           

　　　　（2）   當μ=0，δ²=1時，稱爲標準正態分佈，記爲Z ~ N(0，1)，標準化：

         　　　　 

2.3 Laplace分佈

拉布拉斯分佈的pdf：

             

特性：

　　（1）   指望：μ

　　（2）   方差：2b²

　　（3）   拉布拉斯分佈比高斯分佈更魯棒，高斯分佈對噪聲敏感。

2.4 Gamma分佈

       x ~ Ga(shape=a, rate=b)：

             

       其中Γ(x)爲Gamma函數，a爲形狀參數，b爲比率度參數。

       或者：

反Gamma分佈（反Gamma分佈用於正態分佈方差的共軛先驗）：

其中Gamma函數爲：

       特性：

（1）   Gamma分佈

1）均值：a/b

2）衆數：(a-1)/b

3）方差：a/b²

（2）   反Gamma分佈

1）均值：b/(a-1)

2）衆數：b/(a+1)

3）方差：b²/(a-1)²(a-2)

 

2.5 Beta分佈

      

       其中：

             

       特性：

1）均值：a/(a+b)

2）衆數：(a-1)/(a+b-2)

3）方差：(ab)/(a+b)²(a+b+1)

 

2.6 Dirichlet分佈

將Beta分佈擴展到多維，即獲得Dirichlet分佈。其pdf爲

          

 

其中： 

   注：Dirichlet分佈在文檔分析中的主題模型LDA（Latent Dirichlet Allocation ）用到。

       特性：

             

2.7混合分佈

       混合分佈(mixture distribution)由一些組件(component)分佈構成，由哪一個組件分佈構成取決於從一個多項分佈中採樣的結果。每次實驗，樣本是：

      

其中p(c)是對各組件的一個多項(Multinomial)分佈.

 

2.8混合高斯模型

       高斯混合模型（Gaussian Mixture Model，GMM）是機率密度的萬能近似器（universal approximator），任何平滑的機率密度均可以用具備足夠多組件的高斯混合模型以任意精度逼近：

（1）   組件p(x|c=k)是高斯分佈

（2）   每一個組件用本身的參數：均值、方差-協方差矩陣

（3）   組件也能夠共享參數：每一個組件的方差-協方差矩陣相等

 

4、  抽樣分佈

1.   獨立同分布（IID）

定義：

知足：

隨機變量X₁，…,X_N互相獨立且有相同的邊緣分佈F(記爲X₁，…,X_N ~ F)

的隨機變量X₁，…,X_N，稱爲獨立同分布（Independent Identically Distribution, IID）樣本。

詮釋：

IID表示X₁，…,X_N是從相同的分佈獨立抽樣，也稱X₁，…,X_N是分佈F的隨機樣本，若F有密

度p，也可記爲X₁，…,X_N ~ F

2．抽樣分佈

       假設X₁，…,X_N爲獨立同分布樣本（IID），其均值和方差分別爲μ和δ²。則樣本均值：

             

 

 

爲一統計量，也是隨機變量，所以也可對其進行分佈進行描述，該分佈稱爲統計量的抽樣分佈。

3．樣本均值和樣本方差

       假設X₁，…,X_N爲獨立同分布樣本（IID），

       則樣本的指望爲：

             

 

 

       樣本的方差爲：

             

 

 

       又有隨機變量X₁，…,X_N的指望μ=E(X_i)，方差δ²=V(X_i)，則有

             

      

 

 

　　　　說明了和分別爲μ和δ²的很好估計（無偏估計）：樣本數N越大，樣本均值越接近隨機變量實際的均值μ。

4．弱大數定理（WLLN）

       獨立同分布（IID）的隨機變量X₁，…,X_N，其指望：μ=E(X_i)，其方差：δ²=V(X_i)

（1）   樣本均值

 

 

依機率收斂於指望μ，即對任意ε＞0，有：

稱爲μ的一致估計。

（2）   樣本方差也依機率收斂於方差δ²

（3）   實質：當樣本的數量足夠大時，樣本的均值和方差收斂於隨機變量的指望和方差。

5．中心極限定理（Central Limit Theorem, CLT）

       獨立同分布（IID）的隨機變量X₁，…,X_N，其指望：μ=E(X_i)，其方差：δ²=V(X_i)

       則樣本均值：

                 

 

 

近似服從指望爲μ，方差爲δ²/N的正態分佈，即

其中Z爲標準正態分佈，記爲：

其中，標準差δ可用樣本的標準差代替，即

其中

      

 

 

實質：任意隨機變量的分佈，其樣本均值近似服從正態分佈。

 

5、  分佈估計

1．參數估計

已知分佈的類型，但參數未知。

2．非參數估計

2.1直方圖估計

方法：

（1）   將輸入空間劃分爲M個箱子(bin), 箱子的寬度爲h=1/M，則這些箱子爲：

（2）   計算落入箱子b中的樣本數目V_b，則落入箱子b的比率爲：

 

（3）   則直方圖估計爲：

其I(x ∈  B_b) 表示落到箱子中的計數值。

 

       直方圖估計的缺點：箱中每一個樣本的權重相等，所以直方圖不連續。

2.2核密度估計

2.2.1基本思想

       每一個樣本的權重隨其到目標點的距離平滑衰減。

2.2.2核密度估計的定義

             

       其中，參數h稱爲帶寬(bandwidth)，K爲任意平滑的核函數，其知足：

             

2.2.3實質

       對樣本點施以不一樣的權，用加權來代替一般的計數。

2.2.4常見的核函數

（1）Epanechnikov 核

             

使風險最小的核函數，亦被稱爲拋物面核或者叫作二次核函數。

（2）高斯核

2.3根據有限個統計量估計（極大熵原理）

2.3.1極大熵原理

       （1）主要思想

　　　　在只掌握關於未知分佈的部分知識時，應該選取符合這些知識但熵值最大的機率分佈。

（2）實質

       約束：符合已知知識（特徵的統計量）

極大熵：關於未知分佈最合理的推斷 ＝ 符合已知知識最不肯定或最隨機的推斷

2.3.2充分統計量

       （1）統計量

               給定數據x^N = (x₁, …, x_N)， 假設其統計量爲：

                    

              例如：

                    

       （2）充分統計量

                     統計量（向量）包含了計算參數所需的全部信息：

                      

                     只要知道了充分統計量，就能夠估計處出樣本。

2.3.3指數分佈族

       給定訓練樣本x^N = (x₁, …, x_N) ~ p(x)，使用極大熵原理，推導出其密度q(x)的估計：

（1）   獲得數據的M個統計量：

（2）   當樣本數N增長時，樣本均值會接近真正的指望：

咱們使用密度函數q(x)來估計p(x)，則一個很合理的假設是這二者的指望相同：

（3）   附加另一個約束：

（4）   已知M+1個已知知識（約束），應該選取符合這些知識但熵值最大的機率分佈：

則知足最大熵狀況下的q(x)爲：

且知足條件：

（5）   使用Lagrange乘子法求解上式：

求解獲得：

其中，Z爲歸一化常數，參數λ= (λ₁, …, λ_M)

注意：

參數能夠經過MLE求解。選取的統計量越多，q(x)越接近p(x)。給定的N個有限的數據，M＜N，不然會過擬合。一般M=O(logN)。

 

2.3.4一個極大熵的例子

若是咱們取兩個統計量：

             

       將獲得的指數分佈族爲高斯分佈：

             

所以高斯分佈是給定均值和協方差狀況下的最大熵分佈。

 

 

　　　- tany 2017年10月6日於杭州

 

 

人工智能從入門到專家教程資料：https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.38270209gU11fS&id=562189023765