sampling method

sampling method

背景

在貝葉斯框架下，利用後驗分佈對參數進行估計，也即

其中
（1） 是參數的先驗分佈。
（2） 是似然分佈，數據集 的生成聯合機率
（3） 是參數的後驗分佈。

一般分佈很複雜，因此能夠採用sampling方法從中採樣樣本，表示後驗分佈。如計算參數的指望。

其中 是從 中抽取的一組樣本。

MCMC

馬爾科夫蒙特卡洛方法（MCMC）是最經常使用的採樣技術。其關鍵是經過構造平穩分佈爲的馬爾科夫鏈，則此時產出的樣本近似服從分佈。

平穩分佈

設
（1）馬爾科夫鏈的狀態轉移機率爲。
（2）在時刻狀態的分佈爲
若此時

則馬爾科夫鏈知足細緻平穩條件， 是該馬爾科夫鏈的平穩分佈。

Metropolis-Hasting算法

1. initialize
2. for i = 0 to N - 1
   
   
   if
   
   else:
   

證實：

所以，知足細緻平穩條件，且 服從
MH算法關鍵是選擇 ，雖然理論上能夠隨便選。

Gibbs採樣算法

gibbs主要用於對多維分佈採樣
initialize

證實
由採樣流程：

則代入MH

因此，gibbs是MH的一種特殊形式。