貝葉斯推斷

貝葉斯推斷

貝葉斯模型觀點：參數模型 q(x;θ) $q(x;\theta )$ 中的參數 θ $\theta$ 是被確定的變量(deterministic variable)。

貝葉斯預測分佈

訓練樣本是 D={xi}ni=1 $\mathcal{D}=\{x_i{\}}_{i=1}^n$ , p(θ|D) $p(\theta |\mathcal{D})$ 是給定訓練樣本 D $\mathcal{D}$ 的條件下參數 θ $\theta$ 的後驗概率(posterior probability of parameter θ $\theta$) , p(θ) $p(\theta )$ 是未觀測到訓練樣本 D $\mathcal{D}$ 時， θ $\theta$ 的先驗概率(prior propability).

• 有似然(likelihood)：
  
  p(D|θ)=∏i=1nq(xi|θ)(1) $$\begin{array}{}\text{(1)}& p(\mathcal{D}|\theta )=\underset{i=1}{\overset{n}{\prod }}q(x_i|\theta )\end{array}$$
  
  其中參數模型 q(x|θ) $q(x|\theta )$ 作爲條件概率。

[注：因爲參數被確定，即認爲是已知條件，所以模型是條件概率的形式]。

• 有聯合概率：
  
  p(D,θ)=p(D|θ)p(θ)(2) $$\begin{array}{}\text{(2)}& p(\mathcal{D},\theta )=p(\mathcal{D}|\theta )p(\theta )\end{array}$$

• 參數 D $D$ 的邊緣分佈：
  

  p(D)=∫p(D,θ)dθ(3) $$\begin{array}{}\text{(3)}& p(\mathcal{D})=\int p(\mathcal{D},\theta )d\theta \end{array}$$
  
  帶入得：
  
  p(D)=∫(∏i=1nq(xi|θ))p(θ)dθ(4) $$\begin{array}{}\text{(4)}& p(\mathcal{D})=\int \left(\underset{i=1}{\overset{n}{\prod }}q(x_i|\theta )\right)p(\theta )d\theta \end{array}$$

• 貝葉斯推斷的解(Bayesian predictive distribution)
  P^(Bayes)(x) ${\hat{P}}_{\left(Bayes\right)}(x)$ ，是參數模型
  q(x|θ) $q(x|\theta )$ 在整個後驗分佈 p(θ|D) $p(\theta |\mathcal{D})$ 上的期望：
  

  P^(Bayes)(x)=∫q(x|θ)p(θ|D)dθ(5) $$\begin{array}{}\text{(5)}& {\hat{P}}_{\left(Bayes\right)}(x)=\int q(x|\theta )p(\theta |\mathcal{D})d\theta \end{array}$$

• 由貝葉斯定理：
  

  p(θ|D)=p(D|θ)p(θ)p(D)==p(D|θ)p(θ)p(D)=∏ni=1q(xi|θ)p(θ)∫∏ni=1q(xi|θ)p(D)=∏ni=1q(xi|θ)p(θ)∫∏ni=1q(xi|θD)