????? 原文鏈接：http://blog.csdn.net/yclzh0522/article/details/6839643

????? Canopy聚類算法是可以并行運行的算法，數據并行意味著可以多線程進行，加快聚類速度，開源ML庫Mahout使用。

一、概念 ? ?

?????? 與傳統(tǒng)的聚類算法(比如 K-means )不同，Canopy 聚類最大的特點是不需要事先指定 k 值( 即 clustering 的個數)，因此具有很大的實際應用價值。與其他聚類算法相比，Canopy聚類雖然精度較低，但其在速度上有很大優(yōu)勢，因此可以使用 Canopy 聚類先對數據進行“粗”聚類，（摘自于Mahout一書：Canopy算法是一種快速地聚類技術，只需一次遍歷數據科技得到結果，無法給出精確的簇結果，但能給出最優(yōu)的簇數量?？蔀镵均值算法優(yōu)化超參數..K....）得到 k 值后再使用 K-means 進行進一步“細”聚類。這種Canopy + K-means的混合聚類方式分為以下兩步：

?Step1、聚類最耗費計算的地方是計算對象相似性的時候，Canopy 聚類在第一階段選擇簡單、計算代價較低的方法計算對象相似性，將相似的對象放在一個子集中，這個子集被叫做Canopy ，通過一系列計算得到若干Canopy，Canopy 之間可以是重疊的，但不會存在某個對象不屬于任何Canopy的情況，可以把這一階段看做數據預處理；

?Step2、在各個Canopy?內使用傳統(tǒng)的聚類方法(如K-means)，不屬于同一Canopy 的對象之間不進行相似性計算。

????? 從這個方法起碼可以看出兩點好處：首先，Canopy 不要太大且Canopy 之間重疊的不要太多的話會大大減少后續(xù)需要計算相似性的對象的個數；其次，類似于K-means這樣的聚類方法是需要人為指出K的值的，通過Stage1得到的Canopy 個數完全可以作為這個K值，一定程度上減少了選擇K的盲目性。

二、聚類精度

????? 對傳統(tǒng)聚類來說，例如K-means、Expectation-Maximization、Greedy Agglomerative Clustering，某個對象與Cluster的相似性是該點到Cluster中心的距離，那么聚類精度能夠被很好保證的條件是：

????? 對于每個Cluster都存在一個Canopy，它包含所有屬于這個Cluster的元素。

????? 如果這種相似性的度量為當前點與某個Cluster中離的最近的點的距離，那么聚類精度能夠被很好保證的條件是：

????? 對于每個Cluster都存在若干個Canopy，這些Canopy之間由Cluster中的元素連接（重疊的部分包含Cluster中的元素）。

????? 數據集的Canopy劃分完成后，類似于下圖：

三、Canopy算法流程

????? （1）將數據集向量化得到一個list后放入內存，選擇兩個距離閾值：T1和T2，其中T1 > T2，對應上圖，實線圈為T1，虛線圈為T2，T1和T2的值可以用交叉校驗來確定；

????? （2）從list中任取一點P，用低計算成本方法快速計算點P與所有Canopy之間的距離（如果當前不存在Canopy，則把點P作為一個Canopy），如果點P與某個Canopy距離在T1以內，則將點P加入到這個Canopy；

????? （3）如果點P曾經與某個Canopy的距離在T2以內，則需要把點P從list中刪除，這一步是認為點P此時與這個Canopy已經夠近了，因此它不可以再做其它Canopy的中心了；

????? （4）重復步驟2、3，直到list為空結束。

?????? 注意：Canopy聚類不要求指定簇中心的個數，中心的個數僅僅依賴于舉例度量，T1和T2的選擇。

Python代碼：

#-*- coding:utf-8 -*- ''' ''' import numpy as np import matplotlib as nlp#The first op import scipy as sp import scipy.sparse.linalg import time from Old_regression import crossValidation#使用K均值 import kMeans as kmdef canopyClustering(datalist):state =[];#交叉驗證獲取T1和T2;T1,T2 = crossValidation(datalist);#canopy 預聚類canopybins= canopy(datalist, T1 , T2);#使用K均值聚類k =len(canopybins);createCent = [canopy[0] for canopy in canopybins];#獲取canopybins中心dataSet = datalist；centroids, clusterAssment =km.kMeans(dataSet, k, distMeas=distEclud, createCent);return clusterAssment;#得到一個list后放入內存，選擇兩個距離閾值：T1和T2，其中T1 > T2 #Canopy聚類不要求指定簇中心的個數，中心的個數僅僅依賴于舉例度量，T1和T2的選擇。 def canopy(datalist, T1 , T2):#state = [];datalist = [];#初始化第一個canopy元素canopyInit = datalist.pop();canopyCenter= calCanopyCenter([canopyInit] );canopyC = [canopyInit];#建立第一個canopycanopybins = [];canopybins.append([canopyCenter,canopyC ] );while not(len(datalist) ==0 ):PointNow =datalist[len(datalist)-1 ];#PointNow =datalist.pop();counter = 0;for canopy in canopybins:dis =calDis(PointNow, canopy[0]);#如果點P與某個Canopy距離在T1以內，則將點P加入到這個Canopy；if dis<T1:canopy[1].append(PointNow);counter +=1;#break;if dis<T2:#點P曾經與某個Canopy的距離在T2以內，則需要把點P從list中刪除，#這一步是認為點P此時與這個Canopy已經夠近了，因此它不可以再做其它Canopy的中心了if not(counter ==0):#保證必須率屬于一個canopydel list[len(datalist)-1 ];break;else:#建立一個新的CanopycanopyC = [PointNow];canopyCenter= PointNow;canopybins.append([canopyCenter,canopyC ] );return canopybins;def calDis(va,vb):dis =0;for i in range(len(va) ):dis += va[i]*va[i]+ vb[i]*vb[i];return dis;#計算canopy中心 def calCanopyCenter(datalist):center =datalist[0];for i in len(range(center) ):center[i]=0;for data in datalist:center +=data;center /= len(center);return center;

總結

以上是生活随笔為你收集整理的Canopy聚类算法分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。