高斯分佈--轉載

時間 2019-11-13

標籤高斯分佈轉載简体版

原文原文鏈接

正態分佈（Normal distribution）又名高斯分佈（Gaussian distribution），是一個在數學、物理及工程等領域都很是重要的機率分佈，在統計學的許多方面有着重大的影響力。php

若隨機變量 $X 服從一個數學指望爲 μ、標準方差爲 σ 2 的高斯分佈，記爲：$ html

X \sim N (μ,σ 2),

則其機率密度函數爲算法

$f(x) = {1 \over \sigma\sqrt{2\pi} }\,e^{- {{(x-\mu )^2 \over 2\sigma^2}}}$

正態分佈的指望值 $μ決定了其位置，其標準差 σ決定了分佈的幅度。因其曲線呈鐘形，所以人們又常常稱之爲鐘形曲線。咱們一般所說的標準正態分佈是 μ = 0,σ = 1的正態分佈（見右圖中綠色曲線）。$ 編程

[編輯]概要

正態分佈是天然科學與行爲科學中的定量現象的一個方便模型。各類各樣的心理學測試分數和物理現象好比光子計數都被發現近似地服從正態分佈。儘管這些現象的根本緣由常常是未知的，理論上能夠證實若是把許多小做用加起來看作一個變量，那麼這個變量服從正態分佈(在R.N.Bracewell的Fourier transform and its application中能夠找到一種簡單的證實)。正態分佈出如今許多區域統計:例如, 採樣分佈均值是近似地正態的，既使被採樣的樣本整體並不服從正態分佈。另外，常態分佈信息熵在全部的已知均值及方差的分佈中最大，這使得它做爲一種均值以及方差已知的分佈的天然選擇。正態分佈是在統計以及許多統計測試中最普遍應用的一類分佈。在機率論，正態分佈是幾種連續以及離散分佈的極限分佈。app

[編輯]歷史

常態分佈最先是亞伯拉罕·棣莫弗在1734年發表的一篇關於二項分佈文章中提出的。拉普拉斯在1812年發表的《分析機率論》（Theorie Analytique des Probabilites）中對棣莫佛的結論做了擴展。如今這一結論一般被稱爲棣莫佛－拉普拉斯定理。dom

拉普拉斯在偏差分析試驗中使用了正態分佈。勒讓德於1805年引入最小二乘法這一重要方法；而高斯則宣稱他早在1794年就使用了該方法，並經過假設偏差服從正態分佈給出了嚴格的證實。svg

「鐘形曲線」這個名字能夠追溯到Jouffret他在1872年首次提出這個術語"鐘形曲面"，用來指代二元正態分佈（bivariate normal）。正態分佈這個名字還被Charles S. Peirce、Francis Galton、Wilhelm Lexis在1875分佈獨立的使用。這個術語是不幸的，由於它反應和鼓勵了一種謬誤，即不少機率分佈都是正態的。（請參考下面的「實例」）函數

這個分佈被稱爲「正態」或者「高斯」正好是Stigler名字由來法則的一個例子，這個法則說「沒有科學發現是以它最初的發現者命名的」。測試

[編輯]正態分佈的定義

有幾種不一樣的方法用來講明一個隨機變量。最直觀的方法是機率密度函數，這種方法可以表示隨機變量每一個取值有多大的可能性。累積分佈函數是一種機率上更加清楚的方法，可是非專業人士看起來不直觀（請看下邊的例子）。還有一些其餘的等價方法，例如cumulant、特徵函數、動差生成函數以及cumulant-生成函數。這些方法中有一些對於理論工做很是有用，可是不夠直觀。請參考關於機率分佈的討論。spa

[編輯]機率密度函數

四個不一樣參數集的機率密度函數（綠色線表明標準正態分佈）

正態分佈的機率密度函數均值爲 $μ 方差爲 σ 2 (或標準差 σ)是高斯函數的一個實例：$

$f(x;\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}} \, \exp \left( -\frac{(x- \mu)^2}{2\sigma^2} \right)$ 。

(請看指數函數以及 $π.$ )

若是一個隨機變量 $X 服從這個分佈，咱們寫做 X ~ N (μ,σ 2). 若是 μ = 0而且 σ = 1，這個分佈被稱爲標準正態分佈，這個分佈可以簡化爲$

$f(x) = \frac{1}{\sqrt{2\pi}} \, \exp\left(-\frac{x^2}{2} \right)$ 。

右邊是給出了不一樣參數的正態分佈的函數圖。

正態分佈中一些值得注意的量：

密度函數關於平均值對稱
平均值是它的衆數（statistical mode）以及中位數（median）
函數曲線下68.268949%的面積在平均值左右的一個標準差範圍內
95.449974%的面積在平均值左右兩個標準差 $2σ的範圍內$
99.730020%的面積在平均值左右三個標準差 $3σ的範圍內$
99.993666%的面積在平均值左右四個標準差 $4σ的範圍內$
反曲點（inflection point）在離平均值的距離爲標準差之處

[編輯]累積分佈函數

上圖所示的機率密度函數的累積分佈函數

累積分佈函數是指隨機變量 $X 小於或等於 x 的機率，用密度函數表示爲$

$F(x;\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}}\int_{-\infty}^x \exp \left( -\frac{(x - \mu)^2}{2\sigma^2}\ \right)\, dx.$

正態分佈的累積分佈函數可以由一個叫作偏差函數的特殊函數表示：

$\Phi(z)=\frac12 \left[1 + \mathrm{erf}\,(\frac{z-\mu}{\sigma\sqrt2})\right] .$

標準正態分佈的累積分佈函數習慣上記爲 $Φ，它僅僅是指 μ = 0， σ = 1時的值，$

$\Phi(x)=F(x;0,1)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^x\exp\left(-\frac{x^2}{2}\right)\, dx.$

將通常正態分佈用偏差函數表示的公式簡化，可得：

$\Phi(z)=\frac{1}{2} \left[ 1 + \operatorname{erf} \left( \frac{z}{\sqrt{2}} \right) \right].$

它的反函數被稱爲反偏差函數，爲：

$\Phi^{-1}(p)=\sqrt2\;\operatorname{erf}^{-1} \left(2p - 1 \right).$

該分位數函數有時也被稱爲probit函數。probit函數已被證實沒有初等原函數。

正態分佈的分佈函數Φ(x)沒有解析表達式，它的值能夠經過數值積分、泰勒級數或者漸進序列近似獲得。

[編輯]生成函數

[編輯]動差生成函數

動差生成函數被定義爲 $exp(tX)的指望值。$

正態分佈的矩生成函數以下：

$M_X(t)\,$	$=\mathrm{E}\left( e^{tX}\right)$
	$=\int_{-\infty}^{\infty} \frac {1} {\sigma \sqrt{2\pi} } e^{\left( -\frac{(x - \mu)^2}{2 \sigma^2} \right)} e^{tx}\, dx$
	$=e^{\left( \mu t + \frac{\sigma^2 t^2}{2}\right)}$

能夠經過在指數函數內配平方獲得。

[編輯]特徵函數

特徵函數被定義爲 $exp(itX)的指望值，其中 i 是虛數單位. 對於一個正態分佈來說，特徵函數是：$

$\phi_X(t;\mu,\sigma)\!$	$=\mathrm{E}\left[ \exp(i t X)\right]$
	$=\int_{-\infty}^{\infty} \frac{1}{\sigma \sqrt{2\pi}} \exp \left(- \frac{(x - \mu)^2}{2\sigma^2} \right) \exp(i t x)\, dx$
	$=\exp\left( i \mu t - \frac{\sigma^2 t^2}{2}\right).$

把矩生成函數中的 $t 換成 it 就能獲得特徵函數。$

[編輯]性質

正態分佈的一些性質:

若是 $X \sim N(\mu, \sigma^2) \,$ 且 $a 與 b 是實數，那麼 aX + b \sim N (a μ + b,(a σ) 2) (參見指望值和方差).$
若是與是統計獨立的正態隨機變量，那麼:
- 它們的和也知足正態分佈 $U = X + Y \sim N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y)$ (proof).
- 它們的差也知足正態分佈 $V = X - Y \sim N(\mu_X - \mu_Y, \sigma^2_X + \sigma^2_Y)$ .
- $U 與 V 二者是相互獨立的。$
若是和是獨立正態隨機變量，那麼:
- 它們的積 $XY 服從機率密度函數爲 p 的分佈$
  
  $p(z) = \frac{1}{\pi\,\sigma_X\,\sigma_Y} \; K_0\left(\frac{|z|}{\sigma_X\,\sigma_Y}\right),$ 其中 $K 0 是貝塞爾函數（modified Bessel function）$
- 它們的比符合柯西分佈，知足 $X / Y \simCauchy(0,σ X / σ Y).$
若是 $X_1, \cdots, X_n$ 爲獨立標準正態隨機變量，那麼 $X_1^2 + \cdots + X_n^2$ 服從自由度爲n的卡方分佈。

[編輯]標準化正態隨機變量

[編輯]矩(英文:moment)

一些正態分佈的一階動差以下：

階數	原點矩	中心矩	累積量
0	1	0
1	$μ$	0	$μ$
2	$μ 2 + σ 2$	$σ 2$	$σ 2$
3	$μ 3 + 3μσ 2$	0	0
4	$μ 4 + 6μ 2 σ 2 + 3σ 4$	$3σ 4$	0

正態分佈的全部二階以上的累積量爲零。

[編輯]生成正態隨機變量

[編輯]中心極限定理

主條目：中心極限定理

正態分佈的機率密度函數，參數爲μ = 12，σ = 3，趨近於 n = 4八、 p = 1/4的二項分佈的機率質量函數。

正態分佈有一個很是重要的性質：在特定條件下，大量統計獨立的隨機變量的和的分佈趨於正態分佈，這就是中心極限定理。中心極限定理的重要意義在於，根據這必定理的結論，其餘機率分佈能夠用正態分佈做爲近似。

參數爲 $n 和 p 的二項分佈，在 n 至關大並且 p 不接近1或者0時近似於正態分佈（有的參考書建議僅在 np 與 n (1 - p)至少爲5時才能使用這一近似）。$

近似正態分佈平均數爲 $μ = np 且方差爲 σ 2 = np (1 - p).$

一泊松分佈帶有參數 $λ當取樣樣本數很大時將近似正態分佈 λ.$

近似正態分佈平均數爲 $μ = λ且方差爲 σ 2 = λ.$

這些近似值是否徹底充分正確取決於使用者的使用需求

[編輯]無限可分性

正態分佈是無限可分的機率分佈。

[編輯]穩定性

正態分佈是嚴格穩定的機率分佈。

[編輯]標準誤差

深藍色區域是距平均值小於一個標準差以內的數值範圍。在正態分佈中，此範圍所佔比率爲所有數值之68%。根據正態分佈，兩個標準差以內（藍，棕）的比率合起來爲95%。根據正態分佈，三個標準差以內（深藍，橙，黃）的比率合起來爲99%。

在實際應用上，常考慮一組數據具備近似於正態分佈的機率分佈。若其假設正確，則約68%數值分佈在距離平均值有1個標準差以內的範圍，約95%數值分佈在距離平均值有2個標準差以內的範圍，以及約99.7%數值分佈在距離平均值有3個標準差以內的範圍。稱爲"68-95-99.7法則"或"經驗法則".

[編輯]正態測試

[編輯]相關分佈

$R = \sqrt{X^2 + Y^2}$
$Y \sim \chi_{\nu}^2$ 是卡方分佈具備 $Y = \sum_{k=1}^{\nu} X_k^2$
$Y \simCauchy(μ = 0,θ = 1)是柯西分佈，若是 Y = X 1 / X 2 ，其中 X 1 \sim N (0,1)而且 X 2 \sim N (0,1)是兩個獨立的正態分佈。$
$Y \simLog-N(μ,σ 2)是對數正態分佈若是 Y = e X 而且 X \sim N (μ,σ 2).$
與Lévy skew alpha-stable分佈相關：若是 $X\sim \textrm{Levy-S}\alpha\textrm{S}(2,\beta,\sigma/\sqrt{2},\mu)$ 於是 $X \sim N(\mu,\sigma^2)$ .

截斷正態分佈.若是 $X \sim N(\mu, \sigma^2),\!$ ，在 $E(X)=\mu + \frac{\sigma(\varphi_1-\varphi_2)}{T},\!$

若是 $X 是一個正態分佈的隨機變量, Y = | X | ，那麼 Y 具備摺疊正態分佈 .$

[編輯]參量估計

[編輯]參數的極大似然估計

[編輯]概念通常化

多元正態分佈的協方差矩陣的估計的推導是比較難於理解的。它須要瞭解譜原理（spectral theorem）以及爲何把一個標量看作一個1×1 matrix的trace而不只僅是一個標量更合理的緣由。請參考協方差矩陣的估計（estimation of covariance matrices）.

[編輯]參數的矩估計

[編輯]常見實例

[編輯]光子計數

[編輯]計量偏差

《飲料裝填量不足與超量的機率》

某飲料公司裝瓶流程嚴謹，每罐飲料裝填量符合平均600毫升，標準差3毫升的常態分配法則。隨機選取一罐，容量超過605毫升的機率？容量小於590毫升的機率

容量超過605毫升的機率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 0.9525

容量小於590毫升的機率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004

《6-標準差(6-sigma或6-σ)的品質管制標準》

6-標準差(6-sigma或6-σ)，是製造業流行的品質管制標準。在這個標準之下，一個標準常態分配的變量值出如今正負三個標準差以外，只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是說，這種品質管制標準的產品不良率只有萬分之二十六。假設例3-16的飲料公司裝瓶流程採用這個標準，而每罐飲料裝填量符合平均600毫升，標準差3毫升的常態分配法則。預期裝填容量的範圍應該多少？ 6-標準差的範圍 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 所以，預期裝填容量應該介於591至609毫升之間。

[編輯]生物標本的物理特性

[編輯]金融變量

[編輯]壽命

[編輯]測試和智力分佈

《計算學生智商高低的機率》

假設某校入學新生的智力測驗平均分數與方差分別爲100與12。那麼隨機抽取50個學生，他們智力測驗平均分數大於105的機率？小於90的機率？

本例沒有常態分配的假設，還好中心極限定理提供一個可行解，那就是當隨機樣本長度超過30，樣本平均數xbar近似於一個常態變量，所以標準常態變量Z = (xbar –μ) /σ/ √n。

平均分數大於105的機率 = p(Z> (105 – 100) / (12 /√50))= p(Z> 5/1.7) = p( Z > 2.94) = 0.0016

平均分數小於90的機率 = p(Z< (90 – 100) / (12 /√50))= p(Z < 5.88) = 0.0000

[編輯]計算統計應用

[編輯]生成正態分佈隨機變量

在計算機模擬中，常常須要生成正態分佈的數值。最基本的一個方法是使用標準的正態累積分佈函數的反函數。除此以外還有其餘更加高效的方法，Box-Muller變換就是其中之一。另外一個更加快捷的方法是ziggurat算法。下面將介紹這兩種方法。一個簡單可行的而且容易編程的方法是：求12個在（0,1）上均勻分佈的和，而後減6(12的一半)。這種方法能夠用在不少應用中。這12個數的和是Irwin-Hall分佈；選擇一個方差12。這個隨即推導的結果限制在（-6,6）之間，而且密度爲12，是用11次多項式估計正態分佈。

Box-Muller方法是以兩組獨立的隨機數U和V，這兩組數在(0,1]上均勻分佈，用U和V生成兩組獨立的標準正態分佈隨即變量X和Y:

$X = \sqrt{- 2 \ln U} \, \cos(2 \pi V) ,$

$Y = \sqrt{- 2 \ln U} \, \sin(2 \pi V)$ 。

這個方程的提出是由於二自由度的卡方分佈（見性質4）很容易由指數隨機變量（方程中的lnU）生成。於是經過隨機變量V能夠選擇一個均勻環繞圓圈的角度，用指數分佈選擇半徑而後變換成（正態分佈的）x,y座標。