LDA總結 (一) 共軛分佈

今天開始，複習一下 LDA ，記錄一些 LDA 的關鍵步驟，爲寫好論文作鋪墊。第一節的主題是共軛分佈，回憶貝葉斯公式：

\[p(\theta|X) = \frac{p(\theta) \cdot p(X|\theta)  }{p(X)} \Leftrightarrow \mathbf{ posterior = \frac{prior \cdot likelihood}{evidence}}\]

簡單來講，若是先驗分佈 $p(\theta)$ 和似然函數 $p(X|\theta)$ 可使得先驗 $p(\theta)$ 和後驗分佈 $p(\theta|X)$ 有相同的形式，那麼就稱先驗分佈與似然函數是共軛分佈。

共軛的意義在因而共軛特性可使得先驗分佈和後驗分佈的形式相同，這樣一方面合符人的直觀（它們應該是相同形式的）另一方面是能夠造成一個先驗鏈，即如今的後驗分佈能夠做爲下一次計算的先驗分佈，若是形式相同，就能夠造成一個鏈條，後驗又能夠做爲下一次的先驗分佈。

Binomial 分佈

n 次 Binomial 分佈試驗中事件發生 k 次的機率是：

\[ P(k;n,p) = C_n^k \cdot p^k (1-p)^{n-k} \]

Beta分佈

Beta 分佈有幾個重要的概念，紛紛介紹之：

1. Gamma 函數

\[\Gamma(x) = \int_0^{\infty}t^{x-1}e^{-t}dt\]
它具備以下性質
\[\Gamma(x+1) = x\Gamma(x)\]
2. Beta函數

\[B(m,n) = \frac{\Gamma(m)\Gamma(n)}{\Gamma(m+n)}\]

綜上，給出 Beta 分佈：

\[f(x) = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha -1}(1-x)^{\beta -1}\]

Multinomial 分佈

\[p( \vec n |\vec p ,N) = \frac{N!}{ n_1!n_2!...n_K!} \prod_{k= 1}^K p_k^{n_k}\]

這裏有 $n _k$ 表明第 k 個事件發生的計數，且有 $N = n_1 + n_2+…+n_K$.

Dirichlet分佈

\[Dir(\vec p|\vec \alpha)=\frac{\Gamma(\sum_{k=1}^K\alpha_k)}{\prod_{k=1}^K\Gamma(\alpha_k)}\prod_{k=1}^Kp_k^{\alpha_k -1}\]
Beta分佈和Dirichlet分佈的性質

共軛性質

• 當先驗爲 Beta ，似然爲 Binomial分佈時，後驗仍然爲 Beta ，可是這裏的 Beta 是融入了 Binomial分佈的計數的;
• 當先驗爲 Dirichlet，似然爲 Multinomial 分佈時，後驗仍然爲 Dirichlet，可是這裏的 Dirichlet是融入了 Multinomial 分佈的計數的.

舉例來講，Multinomial  分佈中事件 k 發生的次數爲 $n_k$ ，則可得一個向量 $ \ vec n $, 表明每一個事件的計數，直接使用 Multinomial   的 MLE 獲得的結果爲：

\[p_k = \frac{n_k}{n_1+n_2+ … +n_K }\]

當對該 Multinomial 分佈引入一個 先驗爲 $\vec {alpha} $ 的 Dirichlet 分佈後，即：

\[ p(\vec p) \sim Dir( \vec p| \vec a)\]

採用徹底貝葉斯推斷的方法，獲得該 Dirichlet 分佈的後驗分佈爲：

\[Dir(\vec p | \vec a) + Multi(\vec n)= Dir(\vec p | \vec a + \vec n)\]

指望性質

若是 $p \sim Beta(t|\alpha,\beta)$ ,則
\begin{align}E(p)&=\int_0^1 t*Beta(t|\alpha,\beta)dt\\&=\int_0^1 t*\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} t^{\alpha-1}(1-t)^{\beta -1}dt\\&=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\int_0^1 t^\alpha(1-t)^{\beta -1}dt\end{align}

上式右邊的積分對應到機率分佈 $Beta(t|\alpha +1,\beta)$\[Beta(t | \alpha +1,\beta)=\int_0^1 t*\frac{\Gamma(\alpha + \beta +1 )}{\Gamma(\alpha +1)\Gamma(\beta)} t^\alpha(1-t)^{\beta -1}dt\]並且咱們有\[\int_0^1Beta(t|\alpha +1,\beta)dt=1\]因此咱們有\[\int_0^1 t^\alpha(1-t)^{\beta -1}dt=\frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta+1)}\]把上式帶入E(p) 中獲得 Beta 分佈的指望：\[E(p)=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\cdot\frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta+1)}=\frac{\alpha}{\alpha + \beta}\]一樣的，對於Dirichlet分佈咱們能夠獲得其指望值：\[E(\vec p)=(\frac{\alpha_1}{\sum_{i=1}{K}\alpha_i},\frac{\alpha_2}{\sum_{i=1}{K}\alpha_i},...,\frac{\alpha_K}{\sum_{i=1}{K}\alpha_i})\]