咱們常常接觸到的聚類分析，通常都是數值聚類，一種常見的作法是同時提取 N 種特徵，將它們放在一塊兒組成一個 N 維向量，從而獲得一個從原始數據集合到 N 維向量空間的映射——你老是須要顯式地或者隱式地完成這樣一個過程，而後基於某種規則進行分類，在該規則下，同組分類具備最大的類似性。
假設咱們提取到原始數據的集合爲(x1, x2, …, xn)，而且每一個xi爲d維的向量，K-means聚類的目的就是，在給定分類組數k（k ≤ n）值的條件下，將原始數據分紅k類 S = {S1, S2, …, Sk}，在數值模型上，即對如下表達式求最小值： \underset{\mathbf{S}} {\operatorname{arg\,min}} \sum_{i=1}^{k} \sum_{\mathbf x_j \in S_i} \left\| \mathbf x_j - \boldsymbol\mu_i \right\|^2 這裏μi 表示分類Si 的平均值。
那麼在計算機編程中，其又是如何實現的呢？其算法步驟通常以下：
一、從D中隨機取k個元素，做爲k個簇的各自的中心。
二、分別計算剩下的元素到k個簇中心的相異度，將這些元素分別劃歸到相異度最低的簇。相異度通常用歐氏距離或者馬氏距離來運算，距離越小，說明兩者之間越類似。
三、根據聚類結果，從新計算k個簇各自的中心，計算方法是取簇中全部元素各自維度的算術平均數。
四、將D中所有元素按照新的中心從新聚類。
五、重複第4步，直到聚類結果再也不變化。
六、將結果輸出。
在數據挖掘中，K-Means算法是一種cluster analysis的算法，其主要是來計算數據彙集的算法，主要經過不斷地取離種子點最近均值的算法。前端
問題
K-Means算法主要解決的問題以下圖所示。咱們能夠看到，在圖的左邊有一些點，咱們用肉眼能夠看出來有四個點羣，可是咱們怎麼經過計算機程序找出這幾個點羣來呢？因而就出現了咱們的K-Means算法（Wikipedia連接）python
K-Means要解決的問題web
算法概要算法
這個算法其實很簡單，以下圖所示： 數據庫
從上圖中，咱們能夠看到，A，B，C，D，E是五個在圖中點。而灰色的點是咱們的種子點，也就是咱們用來找點羣的點。有兩個種子點，因此K=2。apache
而後，K-Means的算法以下：編程
- 隨機在圖中取K（這裏K=2）個種子點。
- 而後對圖中的全部點求到這K個種子點的距離，假如點Pi離種子點Si最近，那麼Pi屬於Si點羣。（上圖中，咱們能夠看到A，B屬於上面的種子點，C，D，E屬於下面中部的種子點）
- 接下來，咱們要移動種子點到屬於他的「點羣」的中心。（見圖上的第三步）
- 而後重複第2）和第3）步，直到，種子點沒有移動（咱們能夠看到圖中的第四步上面的種子點聚合了A，B，C，下面的種子點聚合了D，E）。
這個算法很簡單，可是有些細節我要提一下，求距離的公式我不說了，你們有初中畢業水平的人都應該知道怎麼算的。我重點想說一下「求點羣中心的算法」。api
求距離即相異度的算法
1）Minkowski Distance公式——λ能夠隨意取值，能夠是負數，也能夠是正數，或是無窮大。數組
2）Euclidean Distance公式——也就是第一個公式λ=2的狀況
3）CityBlock Distance公式——也就是第一個公式λ=1的狀況
這三個公式的求中心點有一些不同的地方，咱們看下圖（對於第一個λ在0-1之間）。
（1）Minkowski Distance （2）Euclidean Distance （3） CityBlock Distance
上面這幾個圖的大意是他們是怎麼個逼近中心的，第一個圖以星形的方式，第二個圖以同心圓的方式，第三個圖以菱形的方式。
K-Means的演示
若是你以」K Means Demo「爲關鍵字到Google裏查你能夠查到不少演示。這裏推薦一個演示：http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html
操做是，鼠標左鍵是初始化點，右鍵初始化「種子點」，而後勾選「Show History」能夠看到一步一步的迭代。
注：這個演示的連接也有一個不錯的K Means Tutorial。
K-Means++算法
K-Means主要有兩個最重大的缺陷——都和初始值有關：
- K是事先給定的，這個K值的選定是很是難以估計的。不少時候，事先並不知道給定的數據集應該分紅多少個類別才最合適。（ISODATA算法經過類的自動合併和分裂，獲得較爲合理的類型數目K）
- K-Means算法須要用初始隨機種子點來搞，這個隨機種子點過重要，不一樣的隨機種子點會有獲得徹底不一樣的結果。（K-Means++算法能夠用來解決這個問題，其能夠有效地選擇初始點）
我在這裏重點說一下K-Means++算法步驟：
- 先從咱們的數據庫隨機挑個隨機點當「種子點」。
- 對於每一個點，咱們都計算其和最近的一個「種子點」的距離D(x)並保存在一個數組裏，而後把這些距離加起來獲得Sum(D(x))。
- 而後，再取一個隨機值，用權重的方式來取計算下一個「種子點」。這個算法的實現是，先取一個能落在Sum(D(x))中的隨機值Random，而後用Random -= D(x)，直到其<=0，此時的點就是下一個「種子點」。
- 重複第（2）和第（3）步直到全部的K個種子點都被選出來。
- 進行K-Means算法。
相關的代碼你能夠在這裏找到「implement the K-means++ algorithm」（牆）另，Apache的通用數據學庫也實現了這一算法
K-Means算法應用
看到這裏，你會說，K-Means算法看來很簡單，並且好像就是在玩座標點，沒什麼真實用處。並且，這個算法缺陷不少，還不如人工呢。是的，前面的例子只是玩二維座標點，的確沒什麼意思。可是你想一下下面的幾個問題：
1）若是不是二維的，是多維的，如5維的，那麼，就只能用計算機來計算了。
2）二維座標點的X，Y 座標，實際上是一種向量，是一種數學抽象。現實世界中不少屬性是能夠抽象成向量的，好比，咱們的年齡，咱們的喜愛，咱們的商品，等等，能抽象成向量的目的就是可讓計算機知道某兩個屬性間的距離。如：咱們認爲，18歲的人離24歲的人的距離要比離12歲的距離要近，鞋子這個商品離衣服這個商品的距離要比電腦要近，等等。
只要能把現實世界的物體的屬性抽象成向量，就能夠用K-Means算法來歸類了。
在《k均值聚類(K-means)》 這篇文章中舉了一個很不錯的應用例子，做者用亞洲15支足球隊的2005年到1010年的戰績作了一個向量表，而後用K-Means把球隊歸類，得出了下面的結果，呵呵。
- 亞洲一流：日本，韓國，伊朗，沙特
- 亞洲二流：烏茲別克斯坦，巴林，朝鮮
- 亞洲三流：中國，伊拉克，卡塔爾，阿聯酋，泰國，越南，阿曼，印尼
其實，這樣的業務例子還有不少，好比，分析一個公司的客戶分類，這樣能夠對不一樣的客戶使用不一樣的商業策略，或是電子商務中分析商品類似度，歸類商品，從而可使用一些不一樣的銷售策略，等等。
最後給一個挺好的算法的幻燈片：http://www.cs.cmu.edu/~guestrin/Class/10701-S07/Slides/clustering.pdf
下面是個人MATLAB代碼，效果不是特別好，可能須要改進，由於找中心的方式有好多種，這種方式可能會出現最終找不到最好的中心點的狀況：
主函數：
另外，MATLAB中有自帶的kmeans函數，能夠直接使用：
K-means聚類算法採用的是將N*P的矩陣X劃分爲K個類，使得類內對象之間的距離最大，而類之間的距離最小。
使用方法：
Idx=Kmeans(X,K)
[Idx,C]=Kmeans(X,K)
[Idc,C,sumD]=Kmeans(X,K)
[Idx,C,sumD,D]=Kmeans(X,K)
各輸入輸出參數介紹：
X---N*P的數據矩陣
K---表示將X劃分爲幾類，爲整數
Idx---N*1的向量，存儲的是每一個點的聚類標號
C---K*P的矩陣，存儲的是K個聚類質心位置
sumD---1*K的和向量，存儲的是類內全部點與該類質心點距離之和
D---N*K的矩陣，存儲的是每一個點與全部質心的距離
[┈]=Kmeans(┈,’Param1’,’Val1’,’Param2’,’Val2’,┈)
其中參數Param一、Param2等，主要能夠設置爲以下：
一、’Distance’---距離測度
‘sqEuclidean’---歐氏距離
‘cityblock’---絕對偏差和，又稱L1
‘cosine’---針對向量
‘correlation’---針對有時序關係的值
‘Hamming’---只針對二進制數據
二、’Start’---初始質心位置選擇方法
‘sample’---從X中隨機選取K個質心點
‘uniform’---根據X的分佈範圍均勻的隨機生成K個質心
‘cluster’---初始聚類階段隨機選取10%的X的子樣本（此方法初始使用’sample’方法）
Matrix提供一K*P的矩陣，做爲初始質心位置集合
三、’Replicates’---聚類重複次數，爲整數
使用案例：
data= 5.0 3.5 1.3 0.3 -1 5.5 2.6 4.4 1.2 0 6.7 3.1 5.6 2.4 1 5.0 3.3 1.4 0.2 -1 5.9 3.0 5.1 1.8 1 5.8 2.6 4.0 1.2 0
[Idx,C,sumD,D]=Kmeans(data,3,’dist’,’sqEuclidean’,’rep’,4)
運行結果：
Idx = 1 2 3 1 3 2
C = 5.0000 3.4000 1.3500 0.2500 -1.0000 5.6500 2.6000 4.2000 1.2000 0 6.3000 3.0500 5.3500 2.1000 1.0000
sumD = 0.0300 0.1250 0.6300
D = 0.0150 11.4525 25.5350 12.0950 0.0625 3.5550 29.6650 5.7525 0.3150 0.0150 10.7525 24.9650 21.4350 2.3925 0.3150 10.2050 0.0625 4.0850
另外這個連接裏面講kmeans和kmeans++都很是好，還有MATLAB和python的代碼：http://www.jb51.net/article/49395.htm，看完了這個裏面的內容，kmeans和kmeans++ 的MATLAB和python實現就都懂了，強力推薦
下面是python中實現kmeans++的程序，在以前給的鏈接裏也有：
from math import pi, sin, cos from collections import namedtuple from random import random, choice from copy import copy try: import psyco psyco.full() except ImportError: pass FLOAT_MAX = 1e100 class Point: __slots__ = ["x", "y", "group"] def __init__(self, x=0.0, y=0.0, group=0): self.x, self.y, self.group = x, y, group def generate_points(npoints, radius): points = [Point() for _ in xrange(npoints)] # note: this is not a uniform 2-d distribution for p in points: r = random() * radius ang = random() * 2 * pi p.x = r * cos(ang) p.y = r * sin(ang) return points def nearest_cluster_center(point, cluster_centers): """Distance and index of the closest cluster center""" def sqr_distance_2D(a, b): return (a.x - b.x) ** 2 + (a.y - b.y) ** 2 min_index = point.group min_dist = FLOAT_MAX for i, cc in enumerate(cluster_centers): d = sqr_distance_2D(cc, point) if min_dist > d: min_dist = d min_index = i return (min_index, min_dist) def kpp(points, cluster_centers): cluster_centers[0] = copy(choice(points)) d = [0.0 for _ in xrange(len(points))] for i in xrange(1, len(cluster_centers)): sum = 0 for j, p in enumerate(points): d[j] = nearest_cluster_center(p, cluster_centers[:i])[1] sum += d[j] sum *= random() for j, di in enumerate(d): sum -= di if sum > 0: continue cluster_centers[i] = copy(points[j]) break for p in points: p.group = nearest_cluster_center(p, cluster_centers)[0] def lloyd(points, nclusters): cluster_centers = [Point() for _