變分推斷與變分自編碼器

變分推斷與變分自編碼器

做者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

    本文主要介紹變分自編碼器(Variational Auto-Encoder, VAE)及其推導過程，但變分自編碼器涉及一些機率統計的基礎知識，所以爲了更好地理解變分自編碼器，首先介紹變分推斷(Variational Inference)與指望最大化(Expectation-Maximization, EM)算法，進而介紹變分自編碼器，並給出另外一種理解方法(參考文獻[3])。

1. 變分推斷

2. 變分自編碼器

通常狀況下，只採一個樣便可，即K=1。詳見參考文獻[3]。

3. 變分自編碼器另外一種理解——直面聯合分佈

4. KL散度公式推導

5. 參考文獻

[1] 變分貝葉斯 - 凱魯嘎吉 - 博客園

[2] 邱錫鵬, 神經網絡與深度學習[M]. 2019.

[3] 標籤 vae 下的文章 - 科學空間|Scientific Spaces

[4] Kingma D P , Welling M . Auto-Encoding Variational Bayes[J]. 2013.

[5] 變分推斷詳細請參考：華俊豪博客-變分推理、變分貝葉斯算法理解與推導