聚类 高维聚类 聚类评估标准 EM模型聚类
高維數(shù)據(jù)的聚類分析
高維聚類研究方向
高維數(shù)據(jù)聚類的難點在于：
1、適用于普通集合的聚類算法，在高維數(shù)據(jù)集合中效率極低
2、由于高維空間的稀疏性以及最近鄰特性，高維的空間中基本不存在數(shù)據(jù)簇。
?在高維聚類的研究中有如下幾個研究重點：
1）維度約簡，主要分為特征變換和特征選擇兩大類。前者是對特征空間的變換映射，常見的有PCA、SVD等。后者則是選擇特征的子集，常見的搜索方式有自頂向下、隨機(jī)搜索等；（降維）
2）高維聚類算法，主要分為高維全空間聚類和子空間聚類算法。前者的研究主要聚焦在對傳統(tǒng)聚類算法的優(yōu)化改進(jìn)上，后者則可以看做維度約簡的推廣；
子空間聚類：
特征選擇算法綜述：http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html
不同的簇對應(yīng)不同的子空間，并且每個子空間維數(shù)不同，因此也不可能一個子空間就可以發(fā)現(xiàn)所有的簇。選取與給定簇密切相關(guān)的維，然后在對應(yīng)的子空間進(jìn)行聚類。子空間聚類需要自定義一種搜索策略和評測標(biāo)準(zhǔn)來篩選出需要聚類的簇
傳統(tǒng)的特征選擇算法可以用來確定相關(guān)維。
CLIQUE算法（綜合了基于密度和基于網(wǎng)格的算法）
CLIQUE把每個維劃分成不重疊的區(qū)間，從而把數(shù)據(jù)對象的整個嵌入空間劃分成單元。它使用一個密度閾值識別稠密單元和稀疏單元。如果映射到它的對象數(shù)超過該密度閾值，則這個單元是稠密的。
CLIQUE通過兩個階段進(jìn)行聚類。在第一階段，CLIQUE把d-維數(shù)據(jù)空間劃分若干互不重疊的矩形單元，并且從中識別出稠密單元。CLIQUE在所有的子空間中發(fā)現(xiàn)稠密單元。
為了做到這一點，CLIQUE把每個維都劃分成區(qū)間，并識別至少包含l個點的區(qū)間，其中l(wèi)是密度閾值。
然后，CLIQUE迭代地連接子空間.CLIQUE檢查中的點數(shù)是否滿足密度閾值。
當(dāng)沒有候選產(chǎn)生或候選都不稠密時，迭代終止。
在第二階段中，CLIQUE使用每個子空間中的稠密單元來裝配可能具有任意形狀的簇。其思想是利用最小描述長度（MDL)原理,使用最大區(qū)域來覆蓋連接的稠密單元，其中最大區(qū)域是一個超矩形，落人該區(qū)域中的每個單元都是稠密的，并且該區(qū)域在該子空間的任何維上都不能再擴(kuò)展。一般地找出簇的最佳描述是NP一困難的。因此，CLIQUE采用了一種簡單的貪心方法。它從一個任意稠密單元開始，找出覆蓋該單元的最大區(qū)域，然后在尚未被覆蓋的剩余的稠密單元上繼續(xù)這一過程。當(dāng)所有稠密單元都被覆蓋時，貪心方法終止。
簡單說：
?對每個屬性進(jìn)行?N等分,?整個數(shù)據(jù)空間就被劃分為一個超長方體集合,?對每個單元進(jìn)行數(shù)據(jù)點計數(shù),?大于某個閾值?S?的單元稱為稠密單元,?然后對稠密單元進(jìn)行連接就構(gòu)成類.?不同于其它方法,?它可以自動地識別嵌入在數(shù)據(jù)子空間中的類
子空間聚類與基于降維的聚類對比
子空間聚類從某種程度上來講與基于降維的聚類有些類似，但后者是通過直接的降維來對高維數(shù)據(jù)進(jìn)行預(yù)處理，即在降維之后的某一個特定的低維空間中進(jìn)行聚類處理；而前者是把高維數(shù)據(jù)劃分成若干不同的子空間，再根據(jù)需要在不同的子空間中尋求數(shù)據(jù)的聚類。
子空間聚類算法拓展了特征選擇的任務(wù)，嘗試在相同數(shù)據(jù)集的不同子空間上發(fā)現(xiàn)聚類。和特征選擇一樣，子空間聚類需要使用一種搜索策略和評測標(biāo)準(zhǔn)來篩選出需要聚類的簇，不過考慮到不同簇存在于不同的子空間，需要對評測標(biāo)準(zhǔn)做一些限制。
3）聚類有效性，是對量化評估方法的研究；
基于降維的聚類從根本上說都是以數(shù)據(jù)之間的距離 或相似度評價為聚類依據(jù)，當(dāng)數(shù)據(jù)的維數(shù)不是很高時，這些方法效果較好，但當(dāng)數(shù)據(jù)維度增高，聚類處理將很難達(dá)到預(yù)期的 效果。 原因在于：
ａ）在一個很高維的空間中定義一個距離度量本身就是一個很困難的事情；
ｂ）基于距離的方法通常需要計算各個聚類之間的距離均值，當(dāng)數(shù)據(jù)的維度很高時，不同聚類之間的距離差異將會變得很小。
4）聚類結(jié)果表示方法；
5）高維數(shù)據(jù)索引結(jié)構(gòu)；
6）高維離群點的研究
?
筆記︱多種常見聚類模型以及分群質(zhì)量評估（聚類注意事項、使用技巧）
一、聚類分析的距離問題
聚類分析的目的就是讓類群內(nèi)觀測的距離最近，同時不同群體之間的距離最大。
1.樣本聚類距離以及標(biāo)準(zhǔn)化
幾種常見的距離，歐氏距離、絕對值距離、明氏距離、馬氏距離。與前面不同的是，概率分布的距離衡量，K-L距離代表P、Q概率分布差的期望。
一般來說，聚類分析的數(shù)據(jù)都會進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化是因為聚類數(shù)據(jù)會受數(shù)據(jù)的量綱影響。
在以上的幾個距離明氏距離受量綱影響較大。馬氏距離受量綱影響較小
還有cos(余弦相似性)余弦值的范圍在[-1,1]之間，值越趨近于1，代表兩個向量的方向越趨近于0，他們的方向更加一致。相應(yīng)的相似度也越高（cos距離可以用在文本挖掘，文本詞向量距離之上）。
幾種標(biāo)準(zhǔn)化的方法，有規(guī)范化、標(biāo)準(zhǔn)化（R語言︱數(shù)據(jù)規(guī)范化、歸一化）
?
2.不同類型變量距離計算?
算法雜貨鋪——k均值聚類(K-means)
1、標(biāo)量：歐幾里得距離??曼哈頓距離??閔可夫斯基距離 標(biāo)準(zhǔn)化
????? 標(biāo)量也就是無方向意義的數(shù)字，也叫標(biāo)度變量。現(xiàn)在先考慮元素的所有特征屬性都是標(biāo)量的情況。例如，計算X={2,1,102}和Y={1,3,2}的相異度。一種很自然的想法是用兩者的歐幾里得距離來作為相異度，歐幾里得距離的定義如下：
?????
????? 其意義就是兩個元素在歐氏空間中的集合距離，因為其直觀易懂且可解釋性強(qiáng)，被廣泛用于標(biāo)識兩個標(biāo)量元素的相異度。將上面兩個示例數(shù)據(jù)代入公式，可得兩者的歐氏距離為：
?????
????? 除歐氏距離外，常用作度量標(biāo)量相異度的還有曼哈頓距離和閔可夫斯基距離，兩者定義如下：
????? 曼哈頓距離：
????? 閔可夫斯基距離：
????? 歐氏距離和曼哈頓距離可以看做是閔可夫斯基距離在p=2和p=1下的特例。另外這三種距離都可以加權(quán)，這個很容易理解，不再贅述。
????? 下面要說一下標(biāo)量的規(guī)格化問題。上面這樣計算相異度的方式有一點問題，就是取值范圍大的屬性對距離的影響高于取值范圍小的屬性。例如上述例子中第三個屬性的取值跨度遠(yuǎn)大于前兩個，這樣不利于真實反映真實的相異度，為了解決這個問題，一般要對屬性值進(jìn)行規(guī)格化。所謂規(guī)格化就是將各個屬性值按比例映射到相同的取值區(qū)間，這樣是為了平衡各個屬性對距離的影響。通常將各個屬性均映射到[0,1]區(qū)間，映射公式為：
?????
????? 其中max(ai)和min(ai)表示所有元素項中第i個屬性的最大值和最小值。例如，將示例中的元素規(guī)格化到[0,1]區(qū)間后，就變成了X’={1,0,1}，Y’={0,1,0}，重新計算歐氏距離約為1.732。
2、二元變量：相同序位同值屬性的比例?Jaccard系數(shù)
????? 所謂二元變量是只能取0和1兩種值變量，有點類似布爾值，通常用來標(biāo)識是或不是這種二值屬性。對于二元變量，上一節(jié)提到的距離不能很好標(biāo)識其相異度，我們需要一種更適合的標(biāo)識。一種常用的方法是用元素相同序位同值屬性的比例來標(biāo)識其相異度。
????? 設(shè)有X={1,0,0,0,1,0,1,1}，Y={0,0,0,1,1,1,1,1}，可以看到，兩個元素第2、3、5、7和8個屬性取值相同，而第1、4和6個取值不同，那么相異度可以標(biāo)識為3/8=0.375。一般的，對于二元變量，相異度可用“取值不同的同位屬性數(shù)/單個元素的屬性位數(shù)”標(biāo)識。
????? 上面所說的相異度應(yīng)該叫做對稱二元相異度。現(xiàn)實中還有一種情況，就是我們只關(guān)心兩者都取1的情況，而認(rèn)為兩者都取0的屬性并不意味著兩者更相似。例如在根據(jù)病情對病人聚類時，如果兩個人都患有肺癌，我們認(rèn)為兩個人增強(qiáng)了相似度，但如果兩個人都沒患肺癌，并不覺得這加強(qiáng)了兩人的相似性，在這種情況下，改用“取值不同的同位屬性數(shù)/(單個元素的屬性位數(shù)-同取0的位數(shù))”來標(biāo)識相異度，這叫做非對稱二元相異度。如果用1減去非對稱二元相異度，則得到非對稱二元相似度，也叫Jaccard系數(shù)，是一個非常重要的概念。
3、分類變量
????? 分類變量是二元變量的推廣，類似于程序中的枚舉變量，但各個值沒有數(shù)字或序數(shù)意義，如顏色、民族等等，對于分類變量，用“取值不同的同位屬性數(shù)/單個元素的全部屬性數(shù)”來標(biāo)識其相異度。
4、序數(shù)變量：轉(zhuǎn)成標(biāo)量
????? 序數(shù)變量是具有序數(shù)意義的分類變量，通常可以按照一定順序意義排列，如冠軍、亞軍和季軍。對于序數(shù)變量，一般為每個值分配一個數(shù)，叫做這個值的秩，然后以秩代替原值當(dāng)做標(biāo)量屬性計算相異度。
5、向量：余弦相似度
????? 對于向量，由于它不僅有大小而且有方向，所以閔可夫斯基距離不是度量其相異度的好辦法，一種流行的做法是用兩個向量的余弦度量，其度量公式為：
?????
????? 其中||X||表示X的歐幾里得范數(shù)。要注意，余弦度量度量的不是兩者的相異度，而是相似度！
?
3.群體聚類距離
前面是樣本之間的距離，如果是一個點集，群落，如何定義群體距離。一般有以下幾種距離。
?
二.EM聚類
KMEANS注意點
1.K均值聚類算法對離群值最敏感，因為它使用集群數(shù)據(jù)點的平均值來查找集群的中心。
在數(shù)據(jù)包含異常值、數(shù)據(jù)點在數(shù)據(jù)空間上的密度擴(kuò)展具有差異、數(shù)據(jù)點為非凹形狀的情況下，K均值聚類算法的運(yùn)行結(jié)果不佳。
2.K均值對簇中心初始化非常敏感。
?
高斯混合模型聚類算法
高斯混合模型GMMs Gaussian Mixture Models 高斯模型即正態(tài)分布，高斯混合模型就是幾個正態(tài)分布的疊加，每一個正態(tài)分布代表一個類別，所以和K-means 很像，高斯混合模型也可以用來做無監(jiān)督的聚類分析。 ? 高斯混合模型聚類算法EM步驟如下：?注：當(dāng)高斯混合模型的特征值維數(shù)大于一維時，在計算加權(quán)的時候還要計算協(xié)方差，即要考慮不同維度之間的相互關(guān)聯(lián)。
高斯混合模型和K-means的比較： ???????相同點：三.常見聚類模型的比較
| ? | K-means | 層次聚類 | EM模型聚類 |
| 優(yōu)點 | 屬于快速聚類，計算效率高 | 1、能夠展現(xiàn)數(shù)據(jù)層次結(jié)構(gòu)，易于理解 2、可以基于層次事后再選擇類的個數(shù)（根據(jù)數(shù)據(jù)選擇類，但是數(shù)據(jù)量大，速度慢） | 相比其他方法能夠擬合多種形狀的類 |
| 缺點 | 1、需要實現(xiàn)指定類的個數(shù)（需要指定類） 2、有時會不穩(wěn)定，陷入局部收斂 | 1、計算量比較大，不適合樣本量大的情形 2、較多用于宏觀綜合評價 | 需要事先指定類的個數(shù)和初始分布 |
?
分群指標(biāo)詳細(xì)說明：7.9 聚類模型評估
四.聚類分群的數(shù)量如何確定？分群效果如何評價？
沒有固定標(biāo)準(zhǔn)，一般會3-10分群。或者用一些指標(biāo)評價，然后交叉驗證不同群的分群指標(biāo)。
一般的指標(biāo)：輪廓系數(shù)silhouette（-1,1之間，值越大，聚類效果越好）（fpc包），蘭德指數(shù)rand；R語言中有一個包用30種方法來評價不同類的方法（NbClust），但是速度較慢。既可以確定分群數(shù)量，也可以評價聚類質(zhì)量
商業(yè)上的指標(biāo)：分群結(jié)果的覆蓋率；分群結(jié)果的穩(wěn)定性；分群結(jié)果是否從商業(yè)上易于理解和執(zhí)行
1 . 蘭德指數(shù) 需要標(biāo)簽
蘭德指數(shù)（Rand index）需要給定實際類別信息$C$，假設(shè)$K$是聚類結(jié)果，$a$表示在$C$與$K$中都是同類別的元素對數(shù)，$b$表示在$C$與$K$中都是不同類別的元素對數(shù)，則蘭德指數(shù)為：
${\rm RI}=\frac{a+b}{C_2^{n_{\rm samples}}}$，
對于以上公式，
- 分子：屬性一致的樣本數(shù)，即同屬于這一類或都不屬于這一類。a是真實在同一類、預(yù)測也在同一類的樣本數(shù)；b是真實在不同類、預(yù)測也在不同類的樣本數(shù)；
- 分母：任意兩個樣本為一類有多少種組合，是數(shù)據(jù)集中可以組成的總元素對數(shù)；
- RI取值范圍為[0,1]，值越大意味著聚類結(jié)果與真實情況越吻合。
對于隨機(jī)結(jié)果，RI并不能保證分?jǐn)?shù)接近零。為了實現(xiàn)“在聚類結(jié)果隨機(jī)產(chǎn)生的情況下，指標(biāo)應(yīng)該接近零”，調(diào)整蘭德系數(shù)（Adjusted rand index）被提出，它具有更高的區(qū)分度：
${\rm ARI}=\frac{{\rm RI}-E[{\rm RI}]}{\max({\rm RI})-E[{\rm RI}]}$，
具體計算方式參見Adjusted Rand index。
ARI取值范圍為$[-1,1]$，值越大意味著聚類結(jié)果與真實情況越吻合。從廣義的角度來講，ARI衡量的是兩個數(shù)據(jù)分布的吻合程度。
2. 互信息?需要標(biāo)簽、先驗知識
互信息（Mutual Information）也是用來衡量兩個數(shù)據(jù)分布的吻合程度。假設(shè)$U$與$V$是對$N$個樣本標(biāo)簽的分配情況，則兩種分布的熵（熵表示的是不確定程度）分別為：
$H(U)=\sum\limits_{i=1}^{|U|}P(i)\log (P(i)), H(V)=\sum\limits_{j=1}^{|V|}P'(j)\log (P'(j))$，
其中$P(i)=|U_i|/N,P'(j)=|V_j|/N$。$U$與$V$之間的互信息（MI）定義為：
${\rm MI}(U,V)=\sum\limits_{i=1}^{|U|}\sum\limits_{j=1}^{|V|}P(i,j)\log\left ( \frac{P(i,j)}{P(i)P'(j)}\right )$，
其中$P(i,j)=|U_i\bigcap V_j|/N$。標(biāo)準(zhǔn)化后的互信息（Normalized mutual information）為：
${\rm NMI}(U,V)=\frac{{\rm MI}(U,V)}{\sqrt{H(U)H(V)}}$。
與ARI類似，調(diào)整互信息（Adjusted mutual information）定義為：
${\rm AMI}=\frac{{\rm MI}-E[{\rm MI}]}{\max(H(U), H(V))-E[{\rm MI}]}$。
利用基于互信息的方法來衡量聚類效果需要實際類別信息，MI與NMI取值范圍為$[0,1]$，AMI取值范圍為$[-1,1]$，它們都是值越大意味著聚類結(jié)果與真實情況越吻合。
3. 輪廓系數(shù)
輪廓系數(shù)旨在將某個對象與自己的簇的相似程度和與其他簇的相似程度進(jìn)行比較。輪廓系數(shù)最高的簇的數(shù)量表示簇的數(shù)量的最佳選擇。
輪廓系數(shù)（Silhouette coefficient）適用于實際類別信息未知的情況。對于單個樣本，設(shè)$a$是與它同類別中其他樣本的平均距離，$b$是與它距離最近不同類別中樣本的平均距離，輪廓系數(shù)為：
$s=\frac{b-a}{\max(a,b)}$。
對于一個樣本集合，它的輪廓系數(shù)是所有樣本輪廓系數(shù)的平均值。
輪廓系數(shù)取值范圍是$[-1,1]$，同類別樣本越距離相近且不同類別樣本距離越遠(yuǎn)，分?jǐn)?shù)越高。
一般來說，平均輪廓系數(shù)越高，聚類的質(zhì)量也相對較好。在這，對于研究區(qū)域的網(wǎng)格單元，最優(yōu)聚類數(shù)應(yīng)該是2，這時平均輪廓系數(shù)的值最高。但是，聚類結(jié)果（k=2）的 SSE 值太大了。當(dāng) k=6 時，SEE 的值會低很多，但此時平均輪廓系數(shù)的值非常高，僅僅比 k=2 時的值低一點。因此，k=6 是最佳的選擇。
五、kmeans時候出現(xiàn)的超級大群現(xiàn)象，如何解決？
?kmeans做聚類的時候，往往會出現(xiàn)一個超級大群，一類樣本數(shù)據(jù)很多很多，其他類別數(shù)量很少。兩極分化很嚴(yán)重。在實際使用的時候會出現(xiàn)以下這幾個問題：
80%的數(shù)據(jù)分布在1%的空間內(nèi)，而剩下的20%的數(shù)據(jù)分布在99%的空間內(nèi)。聚類時，分布在1%空間內(nèi)的大部分?jǐn)?shù)據(jù)會被聚為一類，剩下的聚為一類。當(dāng)不斷增加K值時，模型一般是對99%空間內(nèi)的數(shù)據(jù)不斷進(jìn)行細(xì)分，因為這些數(shù)據(jù)之間的空間距離比較大。
? ? ? 而對分布在1%空間內(nèi)的數(shù)據(jù)則很難進(jìn)一步細(xì)分，或者即使細(xì)分了，也只是剝離出了外側(cè)少量數(shù)據(jù)。下圖是我們在某個項目中的聚類結(jié)果，可以看到有一類用戶占了90%以上，而且隨著K的增加，這類用戶里只有很小一部分?jǐn)?shù)據(jù)會被劃分出來。
?
? ? ??解決辦法：那么為了解決這個問題，一種可行的方法是是對特征取LOG，減輕長尾問題。經(jīng)過這兩種方法處理后，都能較好的對玩家進(jìn)行分類。下圖是上圖中的數(shù)據(jù)點取LOG后得到的分布圖。
? ? ??缺點：取LOG的方法的缺點在于，會使數(shù)據(jù)變得不直觀，不好理解。
DBSCAN
k-dist
另外，DBSCAN要求用戶指定一個全局參數(shù)Eps(為了減少計算量，預(yù)先確定參數(shù) Minpts)。為了確定取值，DBSCAN計算任意對象與它的第k個最臨近的對象之間的距離。然后，根據(jù)求得的距離由小到大排序，并繪出排序后的圖，稱做k-dist圖。k-dist圖中的橫坐標(biāo)表示數(shù)據(jù)對象與它的第k個最近的對象間的距離；縱坐標(biāo)為對應(yīng)于某一k-dist距離值的數(shù)據(jù)對象的個數(shù)。
R-樹
為了有效地執(zhí)行區(qū)域查詢，DBSCAN算法使用了空間查 詢R-樹結(jié)構(gòu)。在進(jìn)行聚類前，必須建立針對所有數(shù)據(jù)的R*-樹。
轉(zhuǎn)載于:https://www.cnblogs.com/34fj/p/9163578.html
總結(jié)
以上是生活随笔為你收集整理的聚类 高维聚类 聚类评估标准 EM模型聚类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 前端基础-jQuery的事件的用法
- 下一篇： redis 数据类型、命令