Gibbs sampling

　Gibbs sampling(吉布斯採樣)(資料集合)

　　維基百科，自由的百科全書:

　　In statistics, Gibbs sampling or a Gibbs sampler is a Markov chain Monte Carlo (MCMC) algorithm for obtaining a sequence of observations which are approximated from a specified multivariate probability distribution, when direct sampling is difficult. This sequence can be used to approximate the joint distribution (e.g., to generate a histogram of the distribution); to approximate the marginal distribution of one of the variables, or some subset of the variables (for example, the unknown parameters or latent variables); or to compute an integral (such as the expected value of one of the variables). Typically, some of the variables correspond to observations whose values are known, and hence do not need to be sampled.

　　在統計學上，吉布斯取樣或吉布斯取樣器是馬爾科夫鏈蒙特卡羅（MCMC）算法，用於得到從特定的多變量 機率分佈近似的觀測序列，當直接取樣困難時。該序列可用於近似聯合分佈（例如，生成分佈的直方圖）; 近似一個變量的邊際分佈，或變量的一些子集（例如，未知參數或潛在變量）; 或以計算積分（如預期值的變量之一的）。一般，一些變量對應於其值是已知的觀察值，所以不須要進行採樣。Gibbs抽樣是經常使用的一種手段統計推斷，特別是貝葉斯推理。它是一種隨機算法（即便用隨機數的算法），而且是用於統計推斷的肯定性算法的替代，例如指望最大化算法（EM）。如同其它MCMC算法，Gibbs抽樣產生馬爾可夫鏈樣品，其中的每個的相關性與附近的樣品。所以，若是須要獨立的樣品，則必須當心（一般經過僅取每一個第n個值，例如每100個值）稀釋所獲得的樣品鏈。此外，從鏈的開始（老化期）開始的樣本可能不能準確地表示所需的分佈。

 

　　MCMC是用於構建 Markov chain隨機機率分佈的抽樣的一類算法。MCMC有不少算法，其中比較流行的是Metropolis-Hastings Algorithm，Gibbs Sampling是Metropolis-Hastings Algorithm的一種特殊狀況。
　　Markov chain 是一組事件的集合，在這個集合中，事件是一個接一個發生的，而且下一個事件的發生，只由當前發生的事件決定。用數學符號表示就是：
　　　　A={ a1,a2 … ai, ai+1,… at }
　　　　P(ai+1| a1,a2,…ai) = P(ai+1| ai)
　　這裏的ai不必定是一個數字，它有多是一個向量，或者一個矩陣，例如咱們比較感興趣的問題裏ai=（g, u, b）這裏g表示基因的效應，u表示環境效應，b表示固定效應，假設咱們研究的一個羣體，g，u，b的聯合分佈用π（a）表示。事實上，咱們研究QTL，就是要找到π（a），可是有時候π（a）並非那麼好找的，特別是咱們要估計的a的參數的個數多於研究的個體數的時候。用通常的least square每每效果不是那麼好。
解決方案：
　　用一種叫Markov chain Monte Carlo (MCMC)的方法產生Markov chain，產生的Markov chain{a1,a2 … ai, ai+1,… at }具備以下性質：當t 很大時，好比10000，那麼at ~ π（a），這樣的話若是咱們產生一個markov chain：{a1,a2 … ai, ai+1,… a10000}，那麼咱們取後面9000個樣本的平均 a_hat = (g_hat,u_hat,b_hat) = ∑ai / 9000 (i=1001,1002, … 10000)這裏g_hat, u_hat, b_hat 就是基因效應，環境效應，以及固定效應的估計值
　　MCMC算法的關鍵是兩個函數：
　　1） q（ai, ai+1），這個函數決定怎麼基於ai獲得ai+1
　　2） α（ai, ai+1），這個函數決定獲得的ai+1是否保留
　　目的是使得at的分佈收斂於π（a）
　　Gibbs Sampling的算法：
　　通常來講咱們一般不知道π（a），但咱們能夠獲得p（g | u , b）,p(u | g , b), p ( b | g, u )即三個變量的posterior distribution
　　Step1: 給g, u, b 賦初始值：（g0,u0,b0）
　　Step2: 利用p (g | u0, b0) 產生g1
　　Step3: 利用p (u | g1, b0) 產生u1
　　Step4: 利用p (b | g1, u1) 產生b1
　　Step5: 重複step2~step5 這樣咱們就能夠獲得一個markov chain {a1,a2 … ai, ai+1,… at}
　　這裏的q（ai, ai+1）= p（g | u , b）* p(u | g , b)* p ( b | g, u )

　　

　　For Example:

　　這裏通俗點的解釋一下。首先，什麼是sampling.sampling就是以必定的機率分佈,看發生什麼事件.舉一個例子.甲只能E：吃飯、學習、打球,時間T：上午、下午、晚上,天氣W：晴朗、颳風、下雨。如今要一個sample,這個sample能夠是：打球+下午+晴朗..

　　問題是咱們不知道p(E,T,W),或者說,不知道三件事的聯合分佈.固然,若是知道的話,就沒有必要用gibbs sampling了.可是,咱們知道三件事的conditional distribution.也就是說,p(E|T,W),p(T|E,W),p(W|E,T).如今要作的就是經過這三個已知的條件分佈,再用gibbs sampling的方法,獲得joint distribution.

　　具體方法.首先隨便初始化一個組合,i.e.學習+晚上+颳風,而後依條件機率改變其中的一個變量.具體說,假設咱們知道晚上+颳風,咱們給E生成一個變量,好比,學習-》吃飯.咱們再依條件機率改下一個變量,根據學習+颳風,把晚上變成上午.相似地,把颳風變成颳風（固然能夠變成相同的變量）.這樣學習+晚上+颳風-》吃飯+上午+颳風.

　　一樣的方法,獲得一個序列,每一個單元包含三個變量,也就是一個馬爾可夫鏈.而後跳過初始的必定數量的單元（好比100個）,而後隔必定的數量取一個單元（好比隔20個取1個）.這樣sample到的單元,是逼近聯合分佈的.