正態分佈的前世此生(上)（轉載）

時間 2019-11-19

標籤正態分佈前世此生轉載简体版

原文原文鏈接

轉載自：https://cos.name/2013/01/story-of-normal-distribution-1/web

神說，要有正態分佈，就有了正態分佈。
神看正態分佈是好的，就讓隨機偏差服從了正態分佈。
創世紀—數理統計算法

1. 正態分佈，熟悉的陌生人框架

學過基礎統計學的同窗大都對正態分佈很是熟悉。這個鐘形的分佈曲線不但形狀優雅，它對應的密度函數寫成數學表達式dom

f (x) = 1 2 π--\sqrt σ e - ( x - μ ) 2 2 σ 2

也很是具備數學的美感。其標準化後的機率密度函數機器學習

f (x) = 1 2 π--\sqrt e - x 2 2

更加的簡潔漂亮，兩個最重要的數學常量 $π$ ide

正態分佈曲線函數

正態分佈又一般被稱爲高斯分佈，在科學領域，冠名權那是一個很高的榮譽。2002年之前去過德國的兄弟們還會發現，德國1991年至2001年間發行的的一款10馬克的紙幣上印着高斯(Carl Friedrich Gauss, 1777-1855)的頭像和正態密度曲線，而1977年東德發行的20馬克的可流通記念鋼鏰上，也印着正態分佈曲線和高斯的名字。正態分佈被冠名高斯分佈，咱們也容易認爲是高斯發現了正態分佈，其實否則，不太高斯對於正態分佈的歷史地位的確立是起到了決定性的做用。學習

德國馬克和記念幣上的高斯頭像和正態分佈曲線atom

正態曲線雖然看上去很美，卻不是一拍腦殼就能想到的。咱們在本科學習數理統計的時候，課本一上來介紹正態分佈就給出分佈密度函數，卻歷來不說明這個密度函數是經過什麼原理推導出來的。因此我一直搞不明白數學家當年是怎麼找到這個機率分佈曲線的，又是怎麼發現隨機偏差服從這個奇妙的分佈的。咱們在實踐中大量的使用正態分佈，卻對這個分佈的前因後果知之甚少，正態分佈真是讓人感受既熟悉又陌生。直到我讀研究生的時候，個人導師給我介紹了陳希儒院士的《數理統計學簡史》這本書，看了以後才瞭解了正態分佈曲線從發現到被人們重視進而普遍應用，也是通過了幾百年的歷史。spa

正態分佈的這段歷史是很精彩的，咱們經過講一系列的故事來揭開她的神祕面紗。

2. 邂逅，正態曲線的首次發現

第一個故事和機率論的發展密切相關，主角是棣莫弗(Abraham de Moivre, 1667-1754) 和拉普拉斯 (Pierre-Simon Laplace 1749-1827)。拉普拉斯是個大科學家，被稱爲法國的牛頓；棣莫弗名氣可能不算很大，不過你們應該都應該很熟悉這個名字，由於咱們在高中數學學複數的時候都學過棣莫弗公式

(cos θ + i sin θ) n = cos (n θ) + i sin (n θ) .

而棣莫弗所寫的《機遇論》（The doctrine of chances）是機率論發展歷史中很重要的一本書。牛頓對棣莫弗十分欣賞,遇到學生向他請教機率方面的問題時，他就說：「這樣的問題應該去找棣莫弗，他對這些問題的研究比我深刻得多。」

棣莫弗和拉普拉斯

古典機率論發源於賭博，惠更斯(Christiaan Huygens, 1629-1695)、帕斯卡(Blaise Pascal, 1623-1662)、費馬(Pierre de Fermat, 1601-1665)、雅可比·貝努利(Jacob Bernoulli, 1654-1705)都是古典機率的奠定人，他們那會研究的機率問題大都來自賭桌上，最先的機率論問題是賭徒梅累在1654年向帕斯卡提出的如何分賭金的問題。統計學中的整體均值之因此被稱爲指望 (Expectation), 就是源自惠更斯、帕斯卡這些人研究平均狀況下一個賭徒在賭桌上能夠指望本身贏得多少錢。

有一天一個哥們，也許是個賭徒，向棣莫弗提了一個和賭博相關的問題：A、B 兩人在賭場裏賭博，A、B各自的獲勝機率是 $p, q = 1 - p$

問題並不複雜，本質上是一個二項分佈，若 $n p$

2 n p q b (n, p, n p)

其中 $b (n, p, i) = (\binom{n}{i}) p^{i} q^{n - i}$

與此相關聯的另外一個問題，是聽從二項分佈的隨機變量 $X \sim B (n, p)$

對於 $p = 1 / 2$

n! \approx 2 π n---\sqrt (n e ) n .

事實上斯特林公式的雛形是棣莫弗最早獲得的，但斯特林改進了這個公式，改進的結果爲棣莫弗所用。1733 年，棣莫弗很快利用斯特林公式進行計算並取得了重要的進展。考慮 $n$

b (n, 1 2 , i ) = ( n i ) ( 1 2 ) n

如下把 $b (n, \frac{1}{2}, i)$

b (n 2 ) \approx 2 π n---\sqrt ,

$b (n, \frac{1}{2}, i)$

b ( n 2 + d ) b ( n 2 ) \approx e - 2 d 2 n ,

$b (n, \frac{1}{2}, i)$

b (n 2 + d ) \approx 2 2 π n---\sqrt e - 2 d 2 n .

$b (n, \frac{1}{2}, i)$

P (∣∣∣ X n - 1 2 ∣∣∣ \leq c n--\sqrt ) = \approx

看，正態分佈的密度函數的形式在積分公式中出現了！這也就是咱們在數理統計課本上學到的一個重要結論：二項分佈的極限分佈是正態分佈。

以上只是討論了 $p = 1 / 2$

[棣莫弗-拉普拉斯中心極限定理]設隨機變量 $X_{n} (n = 1, 2, \dots)$

lim n \to \infty P (X n - n p n p ( 1 - p )--------\sqrt \leq x ) = \int x - \infty 1 2 π--\sqrt

咱們在大學學習數理統計的時候，學習的過程都是先學習正態分佈，而後才學習中心極限定理。而學習到正態分佈的時候，直接就描述了其機率密度的數學形式，雖然數學上很漂亮，可是容易困惑數學家們是如何憑空就找到這個分佈的。讀了陳希孺的《數理統計學簡史》以後，我才明白正態分佈的密度形式首次發現是在棣莫弗-拉普拉斯的中心極限定理中。數學家研究數學問題的進程不多是按照咱們數學課本編排的順序推動的，現代的數學課本都是按照數學內在的邏輯進行組織編排的，雖然邏輯結構上嚴謹優美，卻把數學問題研究的歷史痕跡抹得一乾二淨。DNA 雙螺旋結構的發現者之一詹姆斯·沃森(James D. Watson, 1928-) 在他的名著《DNA 雙螺旋》序言中說：「 Science seldom proceeds in the straightforward logical manner imagined by outsiders. （科學的發現不多會像門外漢所想象的同樣，按照直接了當合乎邏輯的方式進行的。）」
棣莫弗給出他的發現後40年（大約是1770年），拉普拉斯創建了中心極限定理較通常的形式，中心極限定理隨後又被其餘數學家們推廣到了其它任意分佈的情形，而不限於二項分佈。後續的統計學家發現，一系列的重要統計量，在樣本量 $N$

棣莫弗在二項分佈的計算中瞥見了正態曲線的模樣，不過他並無能展示這個曲線的美妙之處。棣莫弗的這個工做當時並無引發人們足夠的重視，緣由在於棣莫弗不是個統計學家，從未從統計學的角度去考慮其工做的意義。正態分佈(當時也沒有被命名爲正態分佈) 在當時也只是以極限分佈的形式出現，並無在統計學，尤爲是偏差分析中發揮做用。這也就是正態分佈最終沒有被冠名棣莫弗分佈的重要緣由。那高斯作了啥工做致使統計學家把正態分佈的這頂桂冠戴在了他的頭上呢？這先得從最小二乘法的發展提及。

3. 最小二乘法，數據分析的瑞士軍刀

第二個故事的主角是歐拉(Leonhard Euler, 1707-1783)、拉普拉斯、勒讓德 (Adrien-Marie Legendre, 1752–1833) 和高斯, 故事發生的時間是18世紀中到19世紀初。1七、18 世紀是科學發展的黃金年代，微積分的發展和牛頓萬有引力定律的創建，直接的推進了天文學和測地學的迅猛發展。當時的大科學家們都在考慮許多天文學上的問題，幾個典型的問題以下：

土星和木星是太陽系中的大行星，因爲相互吸引對各自的運動軌道產生了影響，許多大數學家，包括歐拉和拉普拉斯都在基於長期積累的天文觀測數據計算土星和木星的運行軌道。
勒讓德承擔了一個政府給的重要任務，測量經過巴黎的子午線的長度。
海上航行經緯度的定位。主要是經過對恆星和月面上的一些定點的觀測來肯定經緯度。

這些天文學和測地學的問題，無不涉及到數據的屢次測量、分析與計算；1七、18世紀的天文觀測，也積累了大量的數據須要進行分析和計算。不少年之前，學者們就已經經驗性的認爲，對於有偏差的測量數據，屢次測量取算術平均是比較好的處理方法。雖然缺少理論上的論證，也不斷的受到一些人的質疑，取算術平均做爲一種異常直觀的方式，已經被使用了千百年, 在多年積累的數據的處理經驗中也獲得至關程度的驗證，被認爲是一種良好的數據處理方法。

以上涉及的問題，咱們直接關心的目標量每每沒法直接觀測，可是一些相關的量是能夠觀測到的，而經過創建數學模型，最終能夠解出咱們關心的量。這些問題均可以用以下數學模型描述：咱們想估計的量是 $β_{0}, \dots, β_{p}$

y = β 0 + β 1 x 1 + \dots + β p x p

如何經過多組觀測數據求解出參數 $β_{0}, \dots, β_{p}$

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ y 1 = β 0 + β 1 x 11 + \dots + β p x p 1 y 2 = β 0 +

$β_{0}, \dots, β_{p}$

以上求解線性矛盾方程的問題在如今的本科生看來都不困難，這就是統計學中的線性迴歸問題，直接用最小二乘法就解決了。但是即使如歐拉、拉普拉斯這些數學大牛，當時也未能對這些問題提出有效的解決方案。可見在科學研究中，要想在觀念上有所突破並不容易。有效的最小二乘法是勒讓德在 1805 年發表的，基本思想就是認爲測量中有偏差，因此全部方程的累積偏差爲

累積偏差 = $\sum ($

咱們求解出致使累積偏差最小的參數

β^= = arg min β \sum i = 1 n e 2 i arg

勒讓德

勒讓德在論文中對最小二乘法的優良性作了幾點說明：

最小二乘法使得偏差平方和最小，並在各個方程的偏差之間創建了一種平衡，從而防止某一個極端偏差取得支配地位；
計算中只要求偏導後求解線性方程組，計算過程明確便捷；
最小二乘法能夠導出算術平均值做爲估計值。

對於最後一點，推理以下：假設真值爲 $θ$

L (θ) = \sum i = 1 n e 2 i = \sum i = 1 n (x i - θ) 2

求解 $θ$

因爲算術平均是一個歷經考驗的方法，而以上的推理說明，算術平均是最小二乘法的一個特例，因此從另外一個角度說明了最小二乘法的優良性，使咱們對最小二乘法更加有信心。

最小二乘法發表以後很快獲得了你們的承認接受，並迅速的在數據分析實踐中被普遍使用。不過歷史上又有人把最小二乘法的發明歸功於高斯，這又是怎麼一回事呢。高斯在1809 年也發表了最小二乘法，而且聲稱本身已經使用這個方法多年。高斯發明了小行星定位的數學方法，並在數據分析中使用最小二乘法進行計算，準確的預測了穀神星的位置。

扯了半天最小二乘法，沒看出和正態分佈有任何關係啊，離題了吧？單就最小二乘法自己，雖然很實用，不過看上去更多的算是一個代數方法，雖然能夠推導出最優解，對於解的偏差有多大，沒法給出有效的分析，而這個就是正態分佈粉墨登場發揮做用的地方。勒讓德提出的最小二乘法，確實是一把在數據分析領域披荊斬棘的好刀，可是刀刃仍是不夠鋒利；而這把刀的打造後來至少一半功勞被歸到高斯，是由於高斯不但獨自的給出了造刀的方法，並且把最小二乘這把刀的刀刃磨得無比鋒利，把最小二乘法打形成了一把瑞士軍刀。高斯拓展了最小二乘法，把正態分佈和最小二乘法聯繫在一塊兒，並使得正態分佈在統計偏差分析中確立了本身的地位，不然正態分佈就不會被稱爲高斯分佈了。那高斯這位神人是如何把正態分佈引入到偏差分析之中，打造最小二乘法這把瑞士軍刀的呢？

4. 衆裏尋她千百度,偏差分佈曲線的確立

第三個故事有點長，主角是高斯和拉普拉斯，故事的主要內容是尋找隨機偏差分佈的規律。

天文學是第一個被測量偏差困擾的學科，從古代至18世紀天文學一直是應用數學最發達的領域，到18世紀，天文學的發展積累了大量的天文學數據須要分析計算，應該如何來處理數據中的觀測偏差成爲一個很棘手的問題。咱們在數據處理中常用平均的常識性法則，千百來來的數據使用經驗說明算術平均可以消除偏差，提升精度。算術平均有如此的魅力，道理何在，以前沒有人作過理論上的證實。算術平均的合理性問題在天文學的數據分析工做中被提出來討論：測量中的隨機偏差應該服從怎樣的機率分佈？算術平均的優良性和偏差的分佈有怎樣的密切聯繫？

伽利略在他著名的《關於兩個主要世界系統的對話》中，對偏差的分佈作過一些定性的描述，主要包括：

觀測數據存在偏差
偏差是對稱分佈的;
大的偏差出現頻率低，小的偏差出現頻率高。

用數學的語言描述，也就是說偏差分佈的密度函數 $f (x)$

許多天文學家和數學家開始了尋找偏差分佈曲線的嘗試。天文學家辛普森(Thomas Simpson, 1710-1761) 先走出了有意義的一步。設真值爲 $θ$

辛普森的偏差分佈曲線

有以下結論

P (| e ¯¯¯ | < x) \geq P (| e i | < x) .

也就是說， $| \bar{e} |$

從 1772-1774 年，拉普拉斯也加入到了尋找偏差分佈密度函數的隊伍中。拉普拉斯假定偏差分佈密度函數 $f (x)$

- f' (x) = m f (x)

由此可求得分佈密度函數爲

f (x) = m 2 e - m | x | . (4)

這個機率密度函數如今被稱爲拉普拉斯分佈。

拉普拉斯的偏差分佈曲線

以該函數做爲偏差分佈，拉普拉斯開始考慮如何基於測量的結果去估計未知參數的值。拉普拉斯能夠算是一個貝葉斯主義者，他的參數估計的原則和現代貝葉斯方法很是類似：假設先驗分佈是均勻的，計算出參數的後驗分佈後，取後驗分佈的中值點，即 $1 / 2$

拉普拉斯但是機率論的大牛，寫過在機率發展歷史中極有影響力的《分析機率論》，不過以個人數學審美，實在沒法理解拉普拉斯這樣的牛人怎麼找了一個零點不可導的函數做爲偏差的分佈密度函數，拉普拉斯最終仍是沒能搞定偏差分佈的問題。

如今輪到高斯登場了，高斯在數學史中的地位極高，年輕的時候號稱數學王子，後來被稱爲數學家中的老狐狸，數學家阿貝爾 (Niels Henrik Abel, 1802-1829) 對他的評論是：「高斯像一隻狐狸，用尾巴將沙地上的足跡抹去(He is like the fox, who effaces his tracks in the sand with his tail) 。」咱們的數學大師陳省身把黎曼(Georg Friedrich Bernhard Riemann,1826-1866) 和龐加萊(Jules Henri Poincaré, 1854-1912)稱爲數學家中的菩薩，而稱本身爲羅漢；高斯是黎曼的導師，數學圈裏有些教授把高斯稱爲數學家中的佛。在數學家中既能仰望理論數學的星空，又能腳踏應用數學的實地的可很少見，高斯是數學家中少有的頂」天「立」地「的人物，它既對純理論數學有深入的洞察力，又極其重視數學在實踐中的應用。在偏差分佈的處理中，高斯以極其簡單的手法確立了隨機偏差的機率分佈，其結果成爲數理統計發展史上的一塊里程碑。

高斯的介入首先要從天文學界的一個事件提及。1801年1月，天文學家朱塞普·皮亞齊 (Giuseppe Piazzi, 1746-1826)發現了一顆從未見過的光度8等的星在移動，這顆如今被稱做穀神星（Ceres）的小行星在夜空中出現6個星期，掃過八度角後就在太陽的光芒下沒了蹤跡，沒法觀測。而留下的觀測數據有限，難以計算出他的軌道，天文學家也所以沒法肯定這顆新星是彗星仍是行星，這個問題很快成了學術界關注的焦點。高斯當時已是頗有名望的年輕數學家了，這個問題引發了他的興趣。高斯以其卓越的數學才能創立了一種嶄新的行星軌道的計算方法，一個小時以內就計算出了穀神星的軌道，並預言了他在夜空中出現的時間和位置。 1801年12月31 日夜，德國天文愛好者奧伯斯(Heinrich Olbers, 1758-1840)，在高斯預言的時間裏，用望遠鏡對準了這片天空。果真不出所料，穀神星出現了！

高斯爲此名聲大震，可是高斯當時拒絕透露計算軌道的方法，緣由多是高斯認爲本身的方法的理論基礎還不夠成熟，而高斯一貫治學嚴謹、精益求精，不輕易發表沒有思考成熟的理論。直到1809年高斯系統地完善了相關的數學理論後，纔將他的方法公佈於衆，而其中使用的數據分析方法，就是以正態偏差分佈爲基礎的最小二乘法。那高斯是如何推導出偏差分佈爲正態分佈的？讓咱們看看高斯是如何猜想上帝的意圖的。

設真值爲 $θ$

L (θ) = L (θ; x 1, \dots, x n) = f (e 1) \dots f (e n) = f (

可是高斯不採用貝葉斯的推理方式，而是直接取使 $L (θ)$

θ^= arg max θ L (θ) .

$L (θ)$

數學家波利亞(George Pólya, 1887-1985)說過：「要成爲一個好的數學家,……,你必須首先是一個好的猜測家(To be a good mathematician,…, you must be a good guesser)。」歷史上一流的數學家都是偉大的猜測家。高斯接下來的想法特別牛，他開始揣度上帝的意圖，而這充分體現了高斯的數學天才。高斯把整個問題的思考模式倒過來：既然千百年來你們都認爲算術平均是一個好的估計，那我就認爲極大似然估計導出的就應該是算術平均！因此高斯猜想上帝在創世紀中的旨意就是：

偏差分佈導出的極大似然估計 = 算術平均值

而後高斯去找偏差密度函數 $f$

f (x) = 1 2 π--\sqrt σ e - x 2 2 σ 2

瞧，正態分佈的密度函數 $N (0, σ^{2})$

進一步，高斯基於這個偏差分佈的密度函數對最小二乘法給出了一個很漂亮的解釋。對於最小二乘公式中涉及的每一個偏差 $e_{i}$

1 ( 2 π--\sqrt σ ) n exp { - 1 2 σ 2 \sum i = 1 n e 2 i } .

要使得這個機率最大，必須使得 $\sum_{i = 1}^{n} e_{i}^{2}$

高斯所拓展的最小二乘法成爲了19世紀統計學的最重要成就，它在19世紀統計學的重要性就至關於18世紀的微積分之於數學。而勒讓德和高斯的關於最小二乘法的發明權之爭，成了數學史上僅次於牛頓、萊布尼茨微積分發明權的爭端。相比于勒讓德1805年給出的最小二乘法描述，高斯基於偏差正態分佈的最小二乘理論顯然更高一籌，高斯的工做中既提出了極大似然估計的思想，又解決了偏差的機率密度分佈的問題，由此咱們能夠對偏差大小的影響進行統計度量了。高斯的這項工做對後世的影響極大，而正態分佈也所以被冠名高斯分佈。估計高斯本人當時是徹底沒有意識到他的這個工做給現代數理統計學帶來的深入影響。高斯在數學上的貢獻特多，去世前他是要求給本身的墓碑上雕刻上正十七邊形，以說明他在正十七邊形尺規做圖上的傑出工做。然後世的德國鈔票和鋼鏰上是以正態密度曲線來記念高斯，這足以說明高斯的這項工做在當代科學發展中的份量。

1七、18世紀科學界流行的作法，是儘量從某種簡單明瞭的準則(first principle)出發進行邏輯推導。高斯設定了準則「最大似然估計應該導出優良的算術平均」，並導出了偏差服從正態分佈，推導的形式上很是簡潔優美。可是高斯給的準則在邏輯上並不足以讓人徹底信服，由於算術平均的優良性當時更多的是一個經驗直覺，缺少嚴格的理論支持。高斯的推導存在循環論證的味道：由於算術平均是優良的，推出偏差必須服從正態分佈；反過來，又基於正態分佈推導出最小二乘法和算術平均，來講明最小二乘法和算術平均的優良性。這陷入了一個雞生蛋蛋生雞的怪圈，邏輯上算術平均的優良性到底有沒有自行成立的理由呢？

高斯的文章發表以後，拉普拉斯很快得知了高斯的工做。拉普拉斯看到，正態分佈既能夠從拋鋼鏰產生的序列和中生成出來，又能夠被優雅的做爲偏差分佈定律，這難道是偶然現象？拉普拉斯不愧爲機率論的大牛，他立刻將偏差的正態分佈理論和中心極限定理聯繫起來，提出了元偏差解釋。他指出若是偏差能夠當作許多微小量的疊加，則根據他的中心極限定理，隨機偏差理所應當是高斯分佈。而20世紀中心極限定理的進一步發展，也給這個解釋提供了更多的理論支持。所以以這個解釋爲出發點，高斯的循環論證的圈子就能夠打破。估計拉普拉斯悟出這個結論以後必定想撞牆，本身辛辛苦苦尋尋覓覓了這麼久的偏差分佈曲線就在本身的眼皮底下，本身卻終年視而不見，被高斯佔了先機。

至此，偏差分佈曲線的尋找塵埃落定，正態分佈在偏差分析中確立了本身的地位，並在整個19世紀不斷的開疆擴土，直至在統計學中鶴立雞羣，傲世其它一切機率分佈；而高斯和拉普拉斯的工做，爲現代統計學的發展開啓了一扇大門。

在整個正態分佈被發現與應用的歷史中，棣莫弗、拉普拉斯、高斯各有貢獻，拉普拉斯從中心極限定理的角度解釋它，高斯把它應用在偏差分析中，異曲同工。正態分佈被人們發現有這麼好的性質，各國人民都爭搶它的冠名權。由於拉普拉斯是法國人,因此當時在法國被稱爲拉普拉斯分佈；而高斯是德國人, 因此在德國叫作高斯分佈；第三中立國的人民稱他爲拉普拉斯-高斯分佈。後來法國的大數學家龐加萊建議改用正態分佈這一中立名稱, 而隨後統計學家卡爾·皮爾森使得這個名稱被普遍接受：

Many years ago I called the Laplace-Gaussian curve the normal curve, which name, while it avoids an international question of priority, has the disadvantage of leading people to believe that all other distributions of frequency are in one sense or another 「abnormal」.

—Karl Pearson (1920)

不過由於高斯在數學家中的名氣實在是太大, 正態分佈的桂冠仍是更多地被戴在了高斯的腦門上，目前數學界通行的用語是正態分佈、高斯分佈, 二者並用。

正態分佈在高斯的推進下，迅速在測量偏差分析中被普遍使用，然而早期也僅限於測量偏差的分析中，其重要性遠沒有被天然科學和社會科學領域中的學者們所認識，那正態分佈是如何從測量偏差分析的小溪，衝向天然科學和社會科學的汪洋大海的呢？

5. 曲徑通幽處，禪房花木深

在介紹正態分佈的後續發展以前，咱們來多講一點數學，也許有些人會以爲枯燥，不太高斯曾經說過：「數學是上帝的語言」；因此要想更加深刻的理解正態分佈的美，惟有藉助於上帝的語言。

造物主造物的準則每每是簡單明瞭的，只是在紛繁蕪雜的萬物之中，咱們要發現並領會它並不是易事。以前提到過，1七、18世紀科學界流行的作法，是儘量從某種簡單明瞭的準則出發做爲科學探求的起點；然後來的數學家和物理學家們的研究發現，多次從一些給定的簡單的準則出發, 咱們老是被引領到了正態分佈的家門口，這讓人感受到正態分佈的美妙。

達爾文的表弟高爾頓是生物學家兼統計學家，他對正態分佈很是的推崇與讚美：」我幾乎未曾見過像偏差呈正態分佈這麼激發人們無窮想象的宇宙秩序「。當代兩位偉大的機率學家列維(Paul Pierre Lévy, 1886-1971) 和卡克(Mark Kac, 1914-1984) 都曾經說過，正態分佈是他們切入機率論的初戀情人，具備無窮的魅力。若是古希臘人知道正態分佈，想必奧林匹斯山的神殿裏會多出一個正態女神，由她來掌管世間的混沌。

要拉下正態分佈的神祕面紗展示她的美麗，須要高深的機率論知識，本人在數學方面知識淺薄，不能勝任。只能在極爲有限的範圍內嘗試掀開她的面紗的一角。棣莫弗和拉普拉斯以拋鋼鏰的序列求和爲出發點，沿着一條小徑第一次把咱們領到了正態分佈的家門口，這條路叫作中心極限定理。而這條路上風景秀麗，許多機率學家都爲之傾倒。這條路在二十世紀被機率學家們越拓越寬，成爲了通往正態曲線的一條康莊大道。而數學家和物理學家們發現：條條小路通正態。著名的物理學家傑恩斯(Edwin Thompson Jaynes, 1922-1998) 在他的名著《機率論沉思錄(Probability Theory: the Logic of Science)》中，描繪了四條通往正態分佈的小徑；曲徑通幽處，禪房花木深，讓咱們一塊兒來欣賞一下這四條小徑上的風景吧。

5.1 高斯(1809)的推導

第一條小徑是高斯找到的，高斯以以下準則做爲小徑的出發點

偏差分佈導出的極大似然估計 = 算術平均值

設真值爲 $θ$

L (θ) = L (θ; x 1, \dots, x n) = f (e 1) \dots f (e n) = f (

爲求極大似然估計，令

d log L ( θ ) d θ = 0

整理後能夠獲得

\sum i = 1 n f ' ( x i - θ ) f ( x i - θ ) = 0

令 $g (x) = \frac{f^{'} (x)}{f (x)}$

\sum i = 1 n g (x i - θ) = 0