共軛分佈

　　今天看到LDA主題模型，裏面涉及到共軛分佈，在此總結一下。

　　共軛分佈(conjugate distribution)的機率中一共涉及到三個分佈：先驗、似然和後驗，若是由先驗分佈和似然分佈所肯定的後驗分佈與該先驗分佈屬於同一種類型的分佈，則該先驗分佈爲似然分佈的共軛分佈，也稱爲共軛先驗。
  比較繞嘴，下面從公式來理一下思路。假設變量x服從分佈P(x|θ)，其觀測樣本爲X={x1,x2,...,xm}，參數θ服從先驗分佈Π(θ)。那麼後驗分佈爲

若是後驗分佈P(θ|X)與先驗分佈Π(θ)是同種類型的分佈，則稱先驗分佈Π(θ)爲似然分佈P(X|θ)的共軛分佈。
  比較經常使用的幾個例子有：高斯分佈是高斯分佈的共軛分佈，Beta分佈是二項分佈的共軛分佈，Dirichlet分佈是多項分佈的共軛分佈。下面對二項分佈給出證實。
  假設變量x∼Bern(x|μ)，其觀測樣本X={x1,x2,...,xn}的機率分佈爲二項分佈，
　　  ，k爲正例樣本個數，假設μ∼Beta(μ|α,β)，那麼μ的後驗分佈爲

後驗分佈仍爲Beta分佈，因此，Beta分佈是二項分佈的共軛分佈。 
  共軛分佈不只使求後驗分佈計算簡單，更重要的是保留了先驗分佈的類型，使機率估計更加準確。