Random/Stochastic

---恢復內容開始---

=====================================================

 

A random variable's possible values might represent the possible outcomes of a yet-to-be-performed experiment,

　　　　　　　　　　　　　　　　　　　　　　　　　 or the possible outcomes of a past experiment whose already-existing value is uncertain

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　(for example, due to imprecise measurements or quantum uncertainty). 

 

They may also conceptually represent either the results of an "objectively" random process (such as rolling a die),

　　　　　　　　　　　　　　　　　　　　　　　　　　　　or the "subjective" randomness that results from incomplete knowledge of a quantity. 

 

The meaning of the probabilities assigned to the potential values of a random variable is not part of probability theory itself,

　　　　　　　　　　　　　　　　　　　　　　　　　　　　 but is instead related to philosophical arguments over the interpretation of probability.

 

The mathematics works the same regardless of the particular interpretation in use !!!

 

簡單地說，頻率學派與貝葉斯學派探討「不肯定性」這件事時的出發點與立足點不一樣。頻率學派從「天然」角度出發，試圖直接爲「事件」自己建模，即事件A在獨立重複試驗中發生的頻率趨於極限p，那麼這個極限就是該事件的機率。舉例而言，想要計算拋擲一枚硬幣時正面朝上的機率，咱們須要不斷地拋擲硬幣，當拋擲次數趨向無窮時正面朝上的頻率即爲正面朝上的機率。

然而，貝葉斯學派並不從試圖刻畫「事件」自己，而從「觀察者」角度出發。貝葉斯學派並不試圖說「事件自己是隨機的」，或者「世界的本體帶有某種隨機性」，這套理論根本不言說關於「世界本體」的東西，而只是從「觀察者知識不完備」這一出發點開始，構造一套在貝葉斯機率論的框架下能夠對不肯定知識作出推斷的方法。頻率學派下說的「隨機事件」在貝葉斯學派看來，並非「事件自己具備某種客觀的隨機性」，而是「觀察者不知道事件的結果」而已，只是「觀察者」知識狀態中還沒有包含這一事件的結果。可是在這種狀況下，觀察者又試圖經過已經觀察到的「證據」來推斷這一事件的結果，所以只能靠猜。貝葉斯機率論就想構建一套比較完備的框架用來描述最能服務於理性推斷這一目的的「猜的過程」。所以，在貝葉斯框架下，同一件事情對於知情者而言就是「肯定事件」，對於不知情者而言就是「隨機事件」，隨機性並不源於事件自己是否發生，而只是描述觀察者對該事件的知識狀態。

總的來講，貝葉斯機率論爲人的知識（knowledge）建模來定義「機率」這個概念。頻率學派試圖描述的是「事物本體」，而貝葉斯學派試圖描述的是觀察者知識狀態在新的觀測發生後如何更新。爲了描述這種更新過程，貝葉斯機率論假設觀察者對某事件處於某個知識狀態中（例如：小明先驗地相信一枚硬幣是均勻的，多是出於認爲均勻硬幣最多見這種信念），以後觀察者開始新的觀測或實驗（小明開始不斷地拋硬幣，發現拋了100次後，竟然只有20次是正面朝上）。通過中間的獨立重複試驗，觀察者得到了一些新的觀測結果，這些新的觀測將以含有不肯定性的邏輯推斷的方式影響觀察者原有的信念（小明開始懷疑這枚硬幣到底是不是均勻的，甚至開始判定硬幣並不均勻）。在這一過程當中，觀察者沒法用簡單的邏輯來推斷，由於觀察者並無徹底的信息做爲證據，所以只能採用似真推斷（plausible reasoning），對於各類各樣可能的結果賦予一個「合理性」（plausibility）。例子中，小明原先認爲硬幣的分佈是均勻的，因而根據小明原有的信念，這個論斷合理性很是高；在觀察到100次拋擲中只有20次正面朝上後，小明開始懷疑硬幣的均勻性，此時小明極可能認爲「硬幣不均勻」這一推斷的合理性很高，支持的證據就是他剛剛實驗的觀測結果。

上面的例子用貝葉斯機率論的語言來描述，就是觀察者持有某個前置信念（prior
belief），經過觀測得到統計證據（evidence），經過知足必定條件的邏輯一致推斷得出的關於該陳述的「合理性」，從而得出後置信念（posterior belief）來最好的表徵觀測後的知識狀態（state of knowledge）。這裏，貝葉斯機率推斷所試圖解決的核心問題就是如何構建一個知足必定條件的邏輯體系賦予特定論斷一個實數所表徵的論斷合理性的度量（measure of plausibility），從而能夠容許觀測者在不徹底信息的狀態下進行推斷。這裏，觀察者對某變量的信念或知識狀態就是頻率學派所說的「機率分佈」，也就是說，觀察者的知識狀態就是對被觀察變量取各類值所賦予的「合理性」的分佈。

從這個意義上來說，貝葉斯機率論試圖構建的是知識狀態的表徵，而不是客觀世界的表徵。所以，在機器學習、統計推斷中，許多狀況下貝葉斯機率推斷更能解決觀察者推斷的問題，而繞開了關於事件本體的討論，由於沒有討論本體的必要性。

參考：《機率論沉思錄》

貝葉斯機率仍然只是一個實數，而機率分佈是推斷者根據本身的知識狀態賦予參數在某集合內取各個值的可信度，所以機率分佈表徵了推斷者的知識狀態。

=====================================================

 

第一名答案的例子其實並不對。貝葉斯學派和頻率學派的最大區別並不在於信息的利用和整合上。雖然貝葉斯方法能夠用先驗分佈來引入以往的信息，可是頻率學派也有方法來整合各類domain knowledge，好比在最優化likelihood的時候加入各類constrain。以麻將爲例，頻率學派的人一樣能夠把每一個人的信息加入的模型中進而找出最有策略，這也是「統計決策」（Statistical decision theory）領域裏早期大牛們的作法（雖然他們的定理證實了全部可能的決策選擇中最佳的決策就是貝葉斯後驗的Mode）。從這個意義上來講二者其實差異並不大。

頻率學派和貝葉斯學派最大的差異其實產生於對參數空間的認知上。所謂參數空間，就是你關心的那個參數可能的取值範圍。頻率學派（其實就是當年的Fisher）並不關心參數空間的全部細節，他們相信數據都是在這個空間裏的」某個「參數值下產生的（雖然你不知道那個值是啥），因此他們的方法論一開始就是從「哪一個值最有多是真實值」這個角度出發的。因而就有了最大似然（maximum likelihood）以及置信區間（confidence interval）這樣的東西，你從名字就能夠看出來他們關心的就是我有多大把握去圈出那個惟一的真實參數。而貝葉斯學派偏偏相反，他們關心參數空間裏的每個值，由於他們以爲咱們又沒有上帝視角，怎麼可能知道哪一個值是真的呢？因此參數空間裏的每一個值都有多是真實模型使用的值，區別只是機率不一樣而已。因而他們纔會引入先驗分佈（prior distribution）和後驗分佈（posterior distribution）這樣的概念來設法找出參數空間上的每一個值的機率。最好詮釋這種差異的例子就是想象若是你的後驗分佈是雙峯的，頻率學派的方法會去選這兩個峯當中較高的那一個對應的值做爲他們的最好猜想，而貝葉斯學派則會同時報告這兩個值，並給出對應的機率。

若是從機率的角度看，貝葉斯學派的想法其實更爲天然，這也是爲何貝葉斯學派的產生遠早於頻率學派（去年是貝葉斯250週年）。可是貝葉斯方法自己有不少問題，好比當先驗選的很差或者模型很差的時候你後驗分佈的具體形式可能都寫不出來，跟別說作統計推斷了。在當年電子計算機還沒發展出來的時候，對這些狀況作分析幾乎是不可能的，這也就大大限制了貝葉斯方法的發展。而頻率學派主要使用最優化的方法，在不少時候處理起來要方便不少。因此在頻率學派產生後就快速地佔領了整個統計領域。直到上世紀90年代依靠電子計算機的迅速發展，以及抽樣算法的進步（Metropolis-hastings, Gibbs sampling）使得對於任何模型任何先驗分佈均可以有效地求出後驗分佈，貝葉斯學派才從新回到人們的視線當中。就如今而言，貝葉斯學派日益受到重視固然是有諸多緣由的，因此這並不意味這頻率學派就很差或者不對。兩個學派除了在參數空間的認知上有區別之外，方法論上都是互相借鑑也能夠相互轉化的。當代學術領域批評的最多的僅僅是頻率學派裏的Hypothesis testing的問題，尤爲是對於p-value的誤用形成了不少問題，最近有一個心理學雜誌BASP也已經禁用了Hypothesis testing （ Psychology journal bans P values : Nature News & Comment）。 不過這只是Hypothesis testing這種研究方法自己的問題（testing是Fisher本身腦補出來的方法，confidence interval是Neyman提出來相對應的方法）。對應於Hypothesis testing，貝葉斯學派有本身的一套方法稱爲 Bayes factor。雖然Bayes factor自己比p-value要合理不少（我的看法），可是我並不以爲單靠Bayes factor的方法就能夠有效解決當下p-value濫用致使的問題，由於Bayes factor一樣能夠致使 Multiple comparisons problem。

做者：Xiangyu Wang
連接：https://www.zhihu.com/question/20587681/answer/41436978
來源：知乎
著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---恢復內容結束---