聚類 Cluster

聚類算法評價指標
聚類性能度量可以分爲兩類：

• 一類是將聚類結果與某個「參考模型」進行比較，稱爲「外部指標」(external index)
• 一類是直接考察聚類結果而不利用任何參考模型，稱爲「內部指標」(internal index)

對於
外部指標
對數據集 D={x1,x2,...,xm} $D=\{x_1,x_2,...,x_m\}$，假定通過聚類算法將樣本局爲 C={C1,C2,...Ck} $C=\{C_1,C_2,...C_k\}$，將參考模型給出的簇劃分爲 C∗={C∗1,C∗2,...,C∗S} $C_{\ast }=\{C_1^{\ast },C_2^{\ast },...,C_S^{\ast }\}$。

相應的，另 λ $\lambda$與 λ∗ ${\lambda }^{\ast }$分別表示與 C $C$和 C∗ $C^{\ast }$對應的簇標記向量。將樣本兩兩配對考慮，有如下定義：

a=|S1|,S1={(xi,xj)|λi=λj,λ∗i=λ∗j,i<j} $$a=|S_1|,S_1=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}$$

b=|S2|,S2={(xi,xj)|λi=λj,λ∗i≠λ∗j,i<j} $$b=|S_2|,S_2=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}$$

c=|S3|,S3={(xi,xj)|λi≠λj,λ∗i=λ∗j,i<j} $$c=|S_3|,S_3=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}$$

d=|S4|,S4={(xi,xj)|λi≠λj,λ∗i≠λ∗j,i<j} $$d=|S_4|,S_4=\{(x_i,x_j)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}$$

其中：
集合 S1 $S_1$表示包含了在 C $C$中屬於相同的簇並且在 C∗ $C^{\ast }$中也屬於相同的簇的樣本；
集合 S2 $S_2$表示包含了在 C $C$中屬於相同的簇但在 C∗ $C^{\ast }$中不屬於相同的簇的樣本；
……以此類推……

對每個樣本對 (xi,xj)(i<j) $(x_i,x_j)(i<j)$僅能出現在一個集合中，因此有

a+b+c+d=C2m=m(m−1)2 $$a+b+c+d=C_m^2=\frac{m(m-1)}{2}$$

基於以上定義，對無監督聚類算法的聚類結果有如下性能度量指標：

• Jaccard係數(accard Coefficient，JCI)
  JCI=aa+b+c $$JCI=\frac{a}{a+b+c}$$
  所有屬於同一類的樣本對，同時在 C $C$, C∗ $C^{\ast }$中隸屬於同一類的樣本對的比例。
• FM指數(Fowlkes and Mallows Index，FMI)
  FMI=aa+b·aa+c‾‾‾‾‾‾‾‾‾‾‾‾‾‾√ $$FMI=\sqrt{\frac{a}{a+b}·\frac{a}{a+c}}$$
  在 C $C$中屬於同一類的樣本對中，同時屬於 C $C$和 C∗ $C^{\ast }$的樣本對的比例爲 p1 $p_1$；在 C∗ $C^{\ast }$中屬於同一類的樣本對中，同時屬於 C $C$和 C∗ $C^{\ast }$的樣本對的比例爲 p2 $p_2$，FMI就是 p1 $p_1$和 p2 $p_2$的幾何平均。
• Rand指數(Rand Index，RI)
  RI=2(a+d)m(m−1) $$RI=\frac{2(a+d)}{m(m-1)}$$
  很顯然，上述性能度量指標的取值都在 [0,1] $[0,1]$之間，並且取值越大越好。
  -

內部指標
對於聚類結果 C={C1,C2,...,Ck} $C=\{C_1,C_2,...,C_k\}$，作如下定義：

avg(C)=2|C|(|C|−1)∑1⩽i⩽j⩽|C|dist(xi,xj) $$avg(C)=\frac{2}{|C|(|C|-1)}\underset{1⩽i⩽j⩽|C|}{\sum }dist(x_i,x_j)$$

diam(C)=max1⩽i⩽j⩽|C|dist(xi,xj) $$diam(C)=\underset{1⩽i⩽j⩽|C|}{max}dist(x_i,x_j)$$

dmin(Ci,Cj)=minxi∈Ci,xj∈Cjdist(xi,xj) $$d_{min}(C_i,C_j)=\underset{x_i\in C_i,x_j\in C_j}{min}dist(x_i,x_j)$$

dcen(Ci,Cj)=dist(μi,μj) $$d_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j)$$

其中
avg(C) $avg(C)$表示質心， ) = d i s t ( μi , μj ) $$d_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j)$$

其中
avg(C) $avg(C)$表示質心， |C| $|C|$表示簇內樣本的個數，即 |C|=k