機器學習之EM算法

　　EM算法原理：

　　EM算法通常用於無監督學習模型，由於無監督學習沒有標籤（即y值)，EM算法能夠先給無監督學習估計一個隱狀態（即標籤），有了標籤，算法模型就能夠轉換成有監督學習，這時就能夠用極大似然估計法求解出模型最優參數。其中估計隱狀態流程應爲EM算法的E步，後面用極大似然估計爲M步。

　　EM算法（Expectation  Maximization Algoithm，最大指望參數）是一種迭代類型的算法，是一種 在機率模型中尋找參數最大似然估計或者最大後驗估計的算法。

　　EM算法流程：

　　一、初始化分佈參數

　　二、重複下面兩個步驟直到模型收斂

　　　　E步驟，估計隱藏變量的機率分佈指望函數

　　　　M步驟，根據指望函數從新估計分佈參數

 

 

圖解EM算法原理：

　　首先給定一個初始值∂^0，這時能夠經過極大似然函數求解出一個新的∂^1，再把∂^1做爲新的極大似然函數的參數，求得∂^2，而後不斷的迭代，最後生成∂不會變，即迭代終止。求得最終解