EM

EM

1. 基本問題

EM算法是解決帶有隱變量模型的方法，基本的模型假設爲

因爲引入了隱變量 ，使得咱們沒法經過對 求偏導獲得最優解。

2. 推導

根據jesen不等式，對於凹函數，有

其中， ，當且僅當 時，「=」成立。而 是凹函數，所以

且

時，等號成立，取得最緊的下界。
也即

所以，當取得最緊的下界時，任何使得下界提高的都能使提高

3. 算法流程

輸入：觀測變量數據，隱變量數據，聯合分佈，條件分佈
輸出：模型參數
（1）選擇參數的初值
（2）E step: 計算在下最緊的下界

（3）M step：