k 均值聚類法 快速高效,特別是大量數(shù)據(jù)時(shí),準(zhǔn)確性高一些,但是需要你自己指定聚類的類別數(shù)量

系統(tǒng)聚類法則是系統(tǒng)自己根據(jù)數(shù)據(jù)之間的距離來(lái)自動(dòng)列出類別,所以通過(guò)系統(tǒng)聚類法 得出一個(gè)樹狀圖,至于聚類的類別 需要自己根據(jù)樹狀圖以及經(jīng)驗(yàn)來(lái)確定

(同上)在聚類分析中，我們常用的聚類方法有快速聚類(迭代聚類)和層次聚類。其中層次聚類容易受到極值的影響，并且計(jì)算復(fù)雜速度慢不適合大樣本聚類;快速聚類雖然速度快，但是其分類指標(biāo)要求是定距變量，而實(shí)際研究中，有很多的定類變量，如性別、學(xué)歷、職業(yè)、重復(fù)購(gòu)買的可能性等多個(gè)與研究目的緊密相關(guān)的指標(biāo)無(wú)法直接參與運(yùn)算，而大大限制了它的使用范圍

k-means聚類算法的初始點(diǎn)選擇不穩(wěn)定，是隨機(jī)選取的，這就引起聚類結(jié)果的不穩(wěn)定，本實(shí)驗(yàn)中雖是經(jīng)過(guò)多次實(shí)驗(yàn)取的平均值，但是具體初始點(diǎn)的選擇方法還需進(jìn)一步研究;層次聚類雖然不需要確定分類數(shù)，但是一旦一個(gè)分裂或者合并被執(zhí)行，就不能修正，聚類質(zhì)量受限制;FCM對(duì)初始聚類中心敏感，需要人為確定聚類數(shù)，容易陷入局部最優(yōu)解;SOM與實(shí)際大腦處理有很強(qiáng)的理論聯(lián)系。但是處理時(shí)間較長(zhǎng)，需要進(jìn)一步研究使其適應(yīng)大型數(shù)據(jù)庫(kù)。

相關(guān)方法說(shuō)明

聚類分析是一種重要的人類行為，早在孩提時(shí)代，一個(gè)人就通過(guò)不斷改進(jìn)下意識(shí)中的聚類模式來(lái)學(xué)會(huì)如何區(qū)分貓狗、動(dòng)物植物。目前在許多領(lǐng)域都得到了廣泛的研究和成功的應(yīng)用，如用于模式識(shí)別、數(shù)據(jù)分析、圖像處理、市場(chǎng)研究、客戶分割、Web文檔分類等[1]。

聚類就是按照某個(gè)特定標(biāo)準(zhǔn)(如距離準(zhǔn)則)把一個(gè)數(shù)據(jù)集分割成不同的類或簇，使得同一個(gè)簇內(nèi)的數(shù)據(jù)對(duì)象的相似性盡可能大，同時(shí)不在同一個(gè)簇中的數(shù)據(jù)對(duì)象的差異性也盡可能地大。即聚類后同一類的數(shù)據(jù)盡可能聚集到一起，不同數(shù)據(jù)盡量分離。

聚類技術(shù)[2]正在蓬勃發(fā)展，對(duì)此有貢獻(xiàn)的研究領(lǐng)域包括數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、空間數(shù)據(jù)庫(kù)技術(shù)、生物學(xué)以及市場(chǎng)營(yíng)銷等。各種聚類方法也被不斷提出和改進(jìn)，而不同的方法適合于不同類型的數(shù)據(jù)，因此對(duì)各種聚類方法、聚類效果的比較成為值得研究的課題。

1 聚類算法的分類

目前，有大量的聚類算法[3]。而對(duì)于具體應(yīng)用，聚類算法的選擇取決于數(shù)據(jù)的類型、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對(duì)同樣的數(shù)據(jù)嘗試多種算法，以發(fā)現(xiàn)數(shù)據(jù)可能揭示的結(jié)果。

主要的聚類算法可以劃分為如下幾類：劃分方法、層次方法、基于密度的方法、基于網(wǎng)格的方法以及基于模型的方法[4-6]。

每一類中都存在著得到廣泛應(yīng)用的算法，例如：劃分方法中的k-means[7]聚類算法、層次方法中的凝聚型層次聚類算法[8]、基于模型方法中的神經(jīng)網(wǎng)絡(luò)[9]聚類算法等。

目前,聚類問(wèn)題的研究不僅僅局限于上述的硬聚類，即每一個(gè)數(shù)據(jù)只能被歸為一類，模糊聚類[10]也是聚類分析中研究較為廣泛的一個(gè)分支。模糊聚類通過(guò)隸屬函數(shù)來(lái)確定每個(gè)數(shù)據(jù)隸屬于各個(gè)簇的程度，而不是將一個(gè)數(shù)據(jù)對(duì)象硬性地歸類到某一簇中。目前已有很多關(guān)于模糊聚類的算法被提出，如著名的FCM算法等。

本文主要對(duì)k-means聚類算法、凝聚型層次聚類算法、神經(jīng)網(wǎng)絡(luò)聚類算法之SOM,以及模糊聚類的FCM算法通過(guò)通用測(cè)試數(shù)據(jù)集進(jìn)行聚類效果的比較和分析。

2 四種常用聚類算法研究

2.1 k-means聚類算法

k-means是劃分方法中較經(jīng)典的聚類算法之一。由于該算法的效率高，所以在對(duì)大規(guī)模數(shù)據(jù)進(jìn)行聚類時(shí)被廣泛應(yīng)用。目前，許多算法均圍繞著該算法進(jìn)行擴(kuò)展和改進(jìn)。

k-means算法以k為參數(shù)，把n個(gè)對(duì)象分成k個(gè)簇，使簇內(nèi)具有較高的相似度，而簇間的相似度較低。k-means算法的處理過(guò)程如下：首先，隨機(jī)地選擇k個(gè)對(duì)象，每個(gè)對(duì)象初始地代表了一個(gè)簇的平均值或中心;對(duì)剩余的每個(gè)對(duì)象，根據(jù)其與各簇中心的距離，將它賦給最近的簇;然后重新計(jì)算每個(gè)簇的平均值。這個(gè)過(guò)程不斷重復(fù)，直到準(zhǔn)則函數(shù)收斂。通常，采用平方誤差準(zhǔn)則，其定義如下：

https://img2.mukewang.com/5b4758b3000144b101410053.jpg

這里E是數(shù)據(jù)庫(kù)中所有對(duì)象的平方誤差的總和，p是空間中的點(diǎn)，mi是簇Ci的平均值[9]。該目標(biāo)函數(shù)使生成的簇盡可能緊湊獨(dú)立，使用的距離度量是歐幾里得距離,當(dāng)然也可以用其他距離度量。k-means聚類算法的算法流程如下：

輸入：包含n個(gè)對(duì)象的數(shù)據(jù)庫(kù)和簇的數(shù)目k;

輸出：k個(gè)簇，使平方誤差準(zhǔn)則最小。

步驟：

(1) 任意選擇k個(gè)對(duì)象作為初始的簇中心;

(2) repeat;

(3) 根據(jù)簇中對(duì)象的平均值，將每個(gè)對(duì)象(重新)賦予最類似的簇;

(4) 更新簇的平均值，即計(jì)算每個(gè)簇中對(duì)象的平均值;

(5) until不再發(fā)生變化。

2.2 層次聚類算法

根據(jù)層次分解的順序是自底向上的還是自上向下的，層次聚類算法分為凝聚的層次聚類算法和分裂的層次聚類算法。

凝聚型層次聚類的策略是先將每個(gè)對(duì)象作為一個(gè)簇，然后合并這些原子簇為越來(lái)越大的簇，直到所有對(duì)象都在一個(gè)簇中，或者某個(gè)終結(jié)條件被滿足。絕大多數(shù)層次聚類屬于凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛采用的簇間距離度量方法如下：

https://img.mukewang.com/5b4758b30001ed1703940257.jpg

這里給出采用最小距離的凝聚層次聚類算法流程：

(1) 將每個(gè)對(duì)象看作一類，計(jì)算兩兩之間的最小距離;

(2) 將距離最小的兩個(gè)類合并成一個(gè)新類;

(3) 重新計(jì)算新類與所有類之間的距離;

(4) 重復(fù)(2)、(3)，直到所有類最后合并成一類。

2.3 SOM聚類算法

SOM神經(jīng)網(wǎng)絡(luò)[11]是由芬蘭神經(jīng)網(wǎng)絡(luò)專家Kohonen教授提出的，該算法假設(shè)在輸入對(duì)象中存在一些拓?fù)浣Y(jié)構(gòu)或順序，可以實(shí)現(xiàn)從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓?fù)涮卣鞅３中再|(zhì),與實(shí)際的大腦處理有很強(qiáng)的理論聯(lián)系。

SOM網(wǎng)絡(luò)包含輸入層和輸出層。輸入層對(duì)應(yīng)一個(gè)高維的輸入向量，輸出層由一系列組織在2維網(wǎng)格上的有序節(jié)點(diǎn)構(gòu)成，輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)通過(guò)權(quán)重向量連接。學(xué)習(xí)過(guò)程中，找到與之距離最短的輸出層單元，即獲勝單元，對(duì)其更新。同時(shí)，將鄰近區(qū)域的權(quán)值更新，使輸出節(jié)點(diǎn)保持輸入向量的拓?fù)涮卣鳌?/p>

算法流程：

(1) 網(wǎng)絡(luò)初始化，對(duì)輸出層每個(gè)節(jié)點(diǎn)權(quán)重賦初值;

(2) 將輸入樣本中隨機(jī)選取輸入向量，找到與輸入向量距離最小的權(quán)重向量;

(3) 定義獲勝單元，在獲勝單元的鄰近區(qū)域調(diào)整權(quán)重使其向輸入向量靠攏;

(4) 提供新樣本、進(jìn)行訓(xùn)練;

(5) 收縮鄰域半徑、減小學(xué)習(xí)率、重復(fù)，直到小于允許值，輸出聚類結(jié)果。

2.4 FCM聚類算法

1965年美國(guó)加州大學(xué)柏克萊分校的扎德教授第一次提出了‘集合’的概念。經(jīng)過(guò)十多年的發(fā)展，模糊集合理論漸漸被應(yīng)用到各個(gè)實(shí)際應(yīng)用方面。為克服非此即彼的分類缺點(diǎn)，出現(xiàn)了以模糊集合論為數(shù)學(xué)基礎(chǔ)的聚類分析。用模糊數(shù)學(xué)的方法進(jìn)行聚類分析，就是模糊聚類分析[12]。

FCM算法是一種以隸屬度來(lái)確定每個(gè)數(shù)據(jù)點(diǎn)屬于某個(gè)聚類程度的算法。該聚類算法是傳統(tǒng)硬聚類算法的一種改進(jìn)。

https://img1.mukewang.com/5b4758b400012a6704070292.jpg

算法流程：

(1) 標(biāo)準(zhǔn)化數(shù)據(jù)矩陣;

(2) 建立模糊相似矩陣，初始化隸屬矩陣;

(3) 算法開始迭代，直到目標(biāo)函數(shù)收斂到極小值;

(4) 根據(jù)迭代結(jié)果，由最后的隸屬矩陣確定數(shù)據(jù)所屬的類，顯示最后的聚類結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的常用的聚类方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。