【數學基礎篇】--詳解人工智能之數學 積分學，機率空間，大數定律和中心極限定理

1、前述

上一篇咱們講到了微分學，本文咱們接着講解積分學，以及機率的相關知識。

2、經常使用符號

3、積分

一、積分定義

將一個函數對應的區間n等分，而後加和求極限。

二、積分理解

代數意義: 無窮求和

幾何意義: 函數與 X 軸之間的有向面積。

三、(牛頓-萊布尼茨公式)

若是 f(x) 是定義在閉區間 [a, b] 上的可微函數, 那麼就有

不定積分表示爲

牛頓-萊布尼茨公式展現了微分與積分的基本關係: 在必定程度上微分與積分互 爲逆運算.

 四、案例

求函數 ln(x) 的不定積分。

五、多變量函數的積分

若是積分區域形狀不規則，能夠用一個矩形把積分區域包起 來，並令函數在積分區域外邊等於 0.

二重積分的幾何意義是積分函數與 X − Y 座標平面之間部 分的有向體積.

 六、積分學總結

積分的代數意義是無窮求和，幾何意義是帶符號的體積

微分和積分在必定程度上互爲逆運算

熟悉微分公式有助於計算積分

多重積分能夠理解成是依次進行的單重積分

4、隨機變量與機率

一、離散隨機變量（發生事件的幾種狀況，好比扔塞子。1-6爲隨機變量）

好比上述事件<=3就是1.2.3事件機率取值。

二、連續隨機變量

對於每個具體的取值的機率爲0.

對於連續型隨機變量，機率爲機率密度函數的積分.

不管是離散仍是連續型隨機變量, 機率函數和機率密度函數 的定義域即爲這個隨機變量的值域.

做爲一個特殊的機率函數，分佈函數定義爲 Φ(x) = P(X < x).

咱們在此只考慮幾乎到處連續的機率密度函數，咱們不考慮離散，連續混 合型的隨機變量

 三、機率

事件的機率（事件是一個集合）

整個機率空間是一個事件，這個事件必定發生因此全空間的 機率爲 1

事件是隨機變量值域的子集 S

事件的機率則表示 S 裏面機率之和或機率密度之積分.

事件的條件機率

條件自己也是事件，也可表示爲隨機變量值域的子集:A

條件機率裏面的事件，又是這個條件的子集:S ∩ A ⊂ A

機率其實就是集合的大小比例，而機率函數或者機率密度函數能夠理解爲比較 大小時候的權重

 四、貝葉斯公式

利用前面的定義咱們知道，事件 A, B 同時發生的機率爲 P(A ∩ B),

一方面 P(A ∩ B) = P(B|A)P(A)

另外一方面對稱的有 P(A ∩ B) = P(A|B)P(B)

因此 P(B|A)P(A) = P(A|B)P(B),

兩邊同時除以 P(B) 就獲得 了貝葉斯公式.

5、隨機變量與機率：共軛分佈

 一、概述

常見的機率分佈基本上都有參數，好比正態分佈有 (µ, σ) 兩個參 數，泊松分佈有一個參數 λ. 對於一個具體的問題而言，關於這 些參數有兩種不一樣的見解

利用經驗獲得一個關於參數的先驗分佈.(Bayesian)

不對參數先驗分佈作任何假設，只利用當前觀測的數據來對 參數進行估計.(Frequentist)。

二、先驗分佈，似然函數，後驗分佈

參數先驗分佈爲 p(θ) 似然函數爲 p(x|θ) 觀測值爲 X，貝葉斯的思想是根據觀測值來調整參數的先驗分佈從而獲得參數 的後驗分佈. 參數後驗分佈爲

三、共軛分佈

若是參數的後驗分佈與先驗分佈屬於同一類分佈，那麼咱們說這 種先驗分佈爲共軛分佈 (Conjugate prior). 好比

似然函數爲正態分佈時, 若是 σ 已知，關於 µ 的正太分佈是 共軛分佈 似然函數爲正態分佈時, 若是 µ 已知，關於 σ 的反 Gamma 分佈是共軛分佈

共軛分佈的好處在於，先驗與後驗分佈屬於一個大類，這樣計算 和理解上都比較方便.

四、小結 (隨機變量與機率)

機率能夠理解爲事件所表明的集合在全機率空間中的比例

對於機率分佈參數的先驗分佈有不一樣的觀點

若是參數先驗分佈與後驗分佈屬於同一類，則叫作共軛分佈.

6、大數定律和中心極限定理

一、隨機變量的矩

X 是一個隨機變量對於任何正整數 n，定義

矩能夠描述隨機變量的一些特徵，

指望是 X「中心」位置的一種 描述，

方差能夠描述 X 的分散程度,

特徵函數能夠全面描述機率 分佈.

二、切比雪夫不等式

設 X 爲隨機變量，指望值爲 µ, 標準差爲 σ, 對於任何實數 k > 0

切比雪夫不等式給出方差對 X 分散程度的描述提供了一個定量 的估計.

如何證實切比雪夫不等式：

 

三、隨機變量的相關係數

X,Y 是兩個隨機變量。

X, Y 的協方差：cov(X, Y ) = E(XY ) − E(X)E(Y )

X, Y 的相關係數

四、獨立隨機變量

X,Y 是兩個隨機變量若是聯合分佈 p(x, y) = p(x)p(y),

則 X, Y 爲獨立隨機變量. 獨立隨機變量相關係數爲 0

相關係數爲零，兩個隨機變量不見得獨立

五、特殊分佈的特徵函數

六、大數定律

天然對數底數 e 的定義。

定義：

 

 七、中心極限定理

 八、總結

隨機變量的矩能夠描述隨機變量所服從分佈的性質

隨機變量的特徵函數能夠全面描述隨機變量的分佈

切比雪夫不等式指出方差能夠描述隨機變量取值的分散程度

大數定律指出獨立重複實驗的平均值的收斂規律

中心極限定理給出獨立重複實驗平均值更細緻的描述