聚類——GMM

聚類——認識GMM算法

做者:凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/算法

1、GMM概述

2、GMM算法步驟

3、具體推導參考文獻

1. 李航. 統計學習方法[M]. 清華大學出版社, 2012. 函數

2. Bishop C M. Pattern Recognition and Machine Learning (Information Science and Statistics)[M]. Springer-Verlag New York, Inc. 2006.學習

注:GMM數學公式推導用到了貝葉斯公式、條件指望公式、拉格朗日乘數法、極大似然估計、參數估計。機率論與數理統計的內容居多,事先應掌握機率論與數理統計基本內容。spa

4、總結

   1. GMM算法中間參數估計部分用到了EM算法,EM算法分爲兩步:orm

      (1)E步:求目標函數指望,更多的是求目標函數取對數以後的指望值。blog

      (2)M步:使指望最大化。用到極大似然估計,拉格朗日乘數法,對參數求偏導,最終肯定新的參數。ci

    2.K-means,FCM與GMM算法參數估計的數學推導思路大致一致,都先確立目標函數,而後使目標函數最大化的參數取值就是迭代公式。博客

    3.三個算法都須要事先指定k。K-means與FCM中的k指的是要聚的類的個數,GMM算法中的k指的是k個單高斯混合模型。數學

    4.三個算法流程一致:it

    (1)經過必定的方法初始化參數(eg:隨機,均值······)

    (2)確立目標函數

    (3)經過必定的方法使目標函數最大化,更新參數迭代公式(eg:EM,粒子羣······)

    (4)設置必定的終止條件,使算法終止。若不知足條件,轉向(3)

相關文章
相關標籤/搜索