《統計學習方法》筆記九 EM算法及其推廣

本系列筆記內容參考來源爲李航《統計學習方法》

EM算法是一種迭代算法，用於含有隱變量的機率模型參數的極大似然估計或極大後驗機率估計。迭代由

（1）E步：求指望

（2）M步：求極大

組成，稱爲指望極大算法。

EM算法引入

 

EM算法是經過不斷求解下界的極大化逼近求解對數似然函數極大化的算法。

EM在監督學習中的應用

收斂性

EM算法在高斯混合模型學習中的應用

高斯混合模型

高斯混合模型參數估計的EM算法

EM算法的推廣

EM算法還可解釋爲F函數的極大-極大算法，基於這個解釋有若干變形與推廣。

首先引入F函數的概念