無監督學習之auto encoder（未完成）

encoder&decoder

encoder其實就是把文本或者圖片通過神經網絡轉換爲向量.
decoder就是把向量轉換爲文本或圖片等。
例如翻譯系統，encoder能夠理解爲將源語言文本轉換爲語義（向量表示）而後decoder將語義轉換爲目標語言。

什麼是auto encoder

auto encode其實就是 「我編碼我本身」，而後還原出「我本身」

將輸入的文本，圖片進行編碼，映射到低緯度的向量裏，這裏能夠將向量理解爲文本圖片的各個抽象特徵，而後根據這些抽象特徵來還原本身。

什麼是Variational Autoencoder(Vae)

相比於auto encoder. vae加了一些噪音e 而且乘以權重σ（學出來的）

爲何這樣？

這個地方不是太懂。簡單說一下。例如咱們原本對輸入的半個月亮進行編碼，而後編碼後的code落在了空間某處，而後對該code decode 解碼出原有的圖片。假如咱們加了一些噪音，那麼原來code附近的code 也會被還原成半個月亮。假如此時又有一個滿月圖片進行相似的操做，那麼頗有可能加入噪音後的code和以前半個月亮code重疊了，那麼模型訓練就會要求他即像半個月亮又像滿月。就能夠學習出介於二者之間的圖片。
並且我認爲這樣作生成彷佛更容易，更穩健了，由於對於decoder來講，code的要求沒那麼嚴格了。

問題1：假如模型學到把σ都設置爲0 從而獲得更好的學習結果，該怎麼辦？

什麼是高斯混合模型

要知道什麼是高斯混合模型。首先要知道什麼是高斯模型。
當樣本數據 X 是一維數據（Univariate）時，高斯分佈聽從下方几率密度函數（Probability Density Function）：

![[公式]](https://www.zhihu.com/equatio...

其中![[公式]](https://www.zhihu.com/equatio...（指望），![[公式]](https://www.zhihu.com/equatio...（Standard deviation）。
（公式來自知乎：https://zhuanlan.zhihu.com/p/...）

那麼高斯混合模型就是把多個單高斯模型混合到一塊兒。

這種狀況比較多見，好比數據中可能會有多種子類型數據，而每種數據都服從高斯分佈。

機率計算如上圖黃色部分。

ps:還沒完成，之後在修改