1. 概述

根據(jù)所擁有的數(shù)據(jù)，可以使用三種不同的機器學習方法，包括監(jiān)督學習、半監(jiān)督學習和無監(jiān)督學習。

在監(jiān)督學習中，根據(jù)已標記數(shù)據(jù)，因此可以確定輸出是關于輸入的某種（隱函數(shù)）的正確值。通過半監(jiān)督學習，用戶將擁有一個大型數(shù)據(jù)集，其中一些數(shù)據(jù)已標記，但大部分未標記。由于涵蓋了大量真實世界的數(shù)據(jù)，針對性標記每個數(shù)據(jù)點的成本可能很高，這就可以通過結合使用監(jiān)督學習和非監(jiān)督學習來解決這個問題。

無監(jiān)督學習意味著我們擁有一個完全未標記的數(shù)據(jù)集，用戶不知道數(shù)據(jù)中是否隱藏了任何模式，所以需將其留給算法去尋找它能找到的任何東西。這正是聚類算法的用武之地，它針對的是無監(jiān)督學習問題。

聚類是一項無監(jiān)督的機器學習任務，有時亦將其稱為聚類分析。使用聚類算法意味著將為算法提供大量沒有標簽的輸入數(shù)據(jù)，并讓它在數(shù)據(jù)中找到它可以找到的任何分組。這些分組稱為簇，簇是一組數(shù)據(jù)點，這些數(shù)據(jù)點基于它們與周圍數(shù)據(jù)點的關系而彼此相似。聚類用于特征工程或模式發(fā)現(xiàn)之類的場景。

當我們從一無所知的數(shù)據(jù)入手時，聚類獲得分組可能是對數(shù)據(jù)獲得一些洞察或初探數(shù)據(jù)內部結構的好方法。

2.聚類方法

有不同類型的聚類算法可以處理具有各種特性的數(shù)據(jù)。通?？蓪⒕垲愃惴ǚ譃榛诿芏?、基于分布、基于質心、基于層次等類別。

2.1基于密度（Density-based）

在基于密度的聚類中，數(shù)據(jù)按數(shù)據(jù)點密度低的區(qū)域包圍數(shù)據(jù)點密度高的區(qū)域進行分組。基本上，該算法會找到數(shù)據(jù)點密集的地方并形成我們常說的“簇”。

簇可以是任何形狀，不受預期條件的限制。這種類型的聚類算法不會嘗試將異常值分配給簇，因此聚類后它們會被作為噪聲點予以忽略或剔除。

2.2基于分布（Distribution-based）

使用基于分布的聚類方法，所有數(shù)據(jù)點都被視為基于它們屬于給定簇的概率分布的一部分。

它是這樣工作的：有一個中心點，隨著數(shù)據(jù)點與中心的距離增加，它成為該簇一部分的概率會降低。

如果我們不確定數(shù)據(jù)的分布情況，我們應該考慮使用不同類型的算法。

2.3基于質心（Centroid-based）

基于質心的聚類是我們可能聽說得最多的一種。它對我們給它的初始參數(shù)有點敏感，但它又快又高效。

這些類型的算法根據(jù)數(shù)據(jù)中的多個質心來分離數(shù)據(jù)點。每個數(shù)據(jù)點根據(jù)其與質心的平方距離分配給一個簇。這是最常用的聚類類型。

2.4基于層次（Hierarchical-based）

基于層次的聚類通常用于層次數(shù)據(jù)，就像我們從公司數(shù)據(jù)庫或分類法中獲得的那樣。它構建了一個簇樹，因此所有內容都是自上而下組織的。這比其他聚類類型更具限制性，但它非常適合特定類型的數(shù)據(jù)集。

3.聚類的應用場景

當我們有一組未標記的數(shù)據(jù)時，我們很可能會使用某種無監(jiān)督學習算法。有許多不同的無監(jiān)督學習技術，例如神經網(wǎng)絡、強化學習和聚類。我們要使用的特定算法類型將具體取決于我們的數(shù)據(jù)特征與結構。

當我們嘗試進行異常檢測以嘗試查找數(shù)據(jù)中的異常值時，我們可能希望使用聚類。它有助于找到那些簇組并顯示確定數(shù)據(jù)點是否為異常值的邊界。

當不確定使用何種機器學習模型時，聚類可以用來找出數(shù)據(jù)中突出內容的模式，從而更好理解數(shù)據(jù)。

聚類對于探索我們一無所知的數(shù)據(jù)特別有用。找出哪種類型的聚類算法效果最好可能需要一些時間，但當我們這樣做時，我們將獲得對數(shù)據(jù)的準確見解，從中甚至可以發(fā)現(xiàn)我們從未想到過的某種關聯(lián)。

聚類的一些實際應用包括保險中的欺詐檢測、圖書館中的圖書分類以及市場營銷中的客戶或群體細分。它還可以用于更大的問題，例如地震分析或城市規(guī)劃等。

4.常用的幾種聚類算法

現(xiàn)在我們已經了解聚類算法的工作原理和可用的不同類型的一些背景知識，我們可以討論在實踐中經常看到的各種算法。在 Python的sklearn 庫中的示例數(shù)據(jù)集上實施這些算法。具體來說，使用 sklearn 庫中的make_classification數(shù)據(jù)集來演示不同的聚類算法為何不適合所有聚類問題。

4.1 K-means

K-均值聚類是最常用的聚類算法。它是一種基于質心的算法，也是最簡單的無監(jiān)督學習算法。

該算法試圖最小化簇內數(shù)據(jù)點的方差。這也是大多數(shù)人接觸無監(jiān)督機器學習的方式。

K-means 最適用于較小的數(shù)據(jù)集，因為它會遍歷所有數(shù)據(jù)點。這意味著如果數(shù)據(jù)集中有大量數(shù)據(jù)點，則需要更多時間對數(shù)據(jù)點進行分類。

由于這是 k-means 聚類數(shù)據(jù)點的方式，因此它不能很好地擴展。具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from sklearn.datasets import make_classification from sklearn.cluster import KMeans from matplotlib import pyplot# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model kmeans_model = KMeans(n_clusters=2)kmeans_model.fit(training_data)kmeans_result = kmeans_model.predict(training_data)# assign each data point to a cluster # kmeans_result = kmeans_model.fit_predict(training_data)# get all of the unique clusters kmeans_clusters = unique(kmeans_result)# plot the KMeans clusters for kmeans_cluster in kmeans_clusters:# get data points that fall in this clusterindex = where(kmeans_result == kmeans_cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the KMeans plot pyplot.show()

4.2 Mini Batch K-Means

Mini Batch K-Means是K-Means的一個修改版本，它使用小批量樣本而不是整個數(shù)據(jù)集來更新聚類質心，這可以使其在大型數(shù)據(jù)集上更快，并且可能對統(tǒng)計噪聲更為魯棒。該算法的缺點是速度提升會降低聚類簇的質量。

通過提出將小批量優(yōu)化用于k均值聚類。與經典的批處理算法相比，這將計算成本降低了幾個數(shù)量級，同時產生了比在線隨機梯度下降更好的解決效果。具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from sklearn.datasets import make_classification from sklearn.cluster import MiniBatchKMeans from matplotlib import pyplot # define dataset training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4) # define the model model = MiniBatchKMeans(n_clusters=2) # fit the model model.fit(training_data) # assign a cluster to each example kmeans_result = model.predict(training_data) # retrieve unique clusters clusters = unique(kmeans_result) # create scatter plot for samples from each cluster for cluster in clusters:# get row indexes for samples with this clusterindex = where(kmeans_result == cluster)# create scatter of these samplespyplot.scatter(training_data[index, 0], training_data[index, 1]) # show the plot pyplot.show()

4.3 DBSCAN

DBSCAN 代表具有噪聲的應用程序的基于密度的空間聚類。與 k-means 不同，它是一種基于密度的聚類算法。這是在數(shù)據(jù)集中查找離群點的好算法。它根據(jù)不同區(qū)域數(shù)據(jù)點的密度發(fā)現(xiàn)任意形狀的聚類。它按低密度區(qū)域分隔區(qū)域，以便它可以檢測高密度簇之間的異常值。在處理奇形怪狀的數(shù)據(jù)時，該算法優(yōu)于 k-means。

DBSCAN 使用兩個參數(shù)來確定聚類的定義方式：minPts（一個被認為是高密度區(qū)域需要聚類在一起的最小數(shù)據(jù)點數(shù)）和eps（用于確定一個數(shù)據(jù)點與其它屬于同一個簇的數(shù)據(jù)點的距離閾值）。

選擇正確的初始參數(shù)對于該算法的工作至關重要。具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from matplotlib import pyplot from sklearn.datasets import make_classification from sklearn.cluster import DBSCAN# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model dbscan_model = DBSCAN(eps=0.25, min_samples=9)# train the model # dbscan_model.fit(training_data)# assign each data point to a cluster dbscan_result = dbscan_model.fit_predict(training_data)# get all of the unique clusters dbscan_clusters = unique(dbscan_result)# plot the DBSCAN clusters for dbscan_cluster in dbscan_clusters:# get data points that fall in this clusterindex = where(dbscan_result == dbscan_cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the DBSCAN plot pyplot.show()

4.4 Gaussian-Mixture Model

k-means 的問題之一是數(shù)據(jù)需要遵循某種圓形區(qū)域的范式。k-means 計算數(shù)據(jù)點之間距離的方式與圓形路徑有關，因此非圓形數(shù)據(jù)無法正確聚類。這是高斯混合模型解決的問題。我們不需要圓形數(shù)據(jù)就可以正常工作。

高斯混合模型使用多個高斯分布來擬合任意形狀的數(shù)據(jù)。在這個混合模型中有幾個單一的高斯模型充當隱藏層。因此，該模型計算數(shù)據(jù)點屬于特定高斯分布的概率，這就是它將屬于的簇。具體實現(xiàn)如下。

from numpy import unique from numpy import where from matplotlib import pyplot from sklearn.datasets import make_classification from sklearn.mixture import GaussianMixture# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model gaussian_model = GaussianMixture(n_components=2)# train the model gaussian_model.fit(training_data)# assign each data point to a cluster gaussian_result = gaussian_model.predict(training_data)# get all of the unique clusters gaussian_clusters = unique(gaussian_result)# plot Gaussian Mixture the clusters for gaussian_cluster in gaussian_clusters:# get data points that fall in this clusterindex = where(gaussian_result == gaussian_cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the Gaussian Mixture plot pyplot.show()

4.5 BIRCH

Balance Iterative Reducing and Clustering using Hierarchies (BIRCH) 算法在大型數(shù)據(jù)集上比 k-means 算法效果更好。它將數(shù)據(jù)分解成summaries 后再聚類，而不是基于原始數(shù)據(jù)點直接聚類。summaries 包含盡可能多的關于數(shù)據(jù)點的分布信息。

該算法通常與其他聚類算法一起使用，因為其他聚類技術可用于 BIRCH 生成的summaries 。

BIRCH 算法的主要缺點是它僅適用于數(shù)字數(shù)據(jù)值。除非進行一些必要的數(shù)據(jù)轉換，否則不能將其用于分類值。具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from matplotlib import pyplot from sklearn.datasets import make_classification from sklearn.cluster import Birch# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model birch_model = Birch(threshold=0.03, n_clusters=2)# train the model birch_model.fit(training_data)# assign each data point to a cluster birch_result = birch_model.predict(training_data)# get all of the unique clusters birch_clusters = unique(birch_result)# plot the BIRCH clusters for birch_cluster in birch_clusters:# get data points that fall in this clusterindex = where(birch_result == birch_cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the BIRCH plot pyplot.show()

4.6 Affinity Propagation

類同傳播聚類也稱之為親密度傳播聚類（Affinity Propagation），這種聚類算法在聚類數(shù)據(jù)的方式上與其他算法完全不同。每個數(shù)據(jù)點都與所有其他數(shù)據(jù)點進行信息傳遞，讓彼此知道它們有多相似，并開始揭示數(shù)據(jù)中的簇。我們不必在初始化參數(shù)中預先設定該算法期望有多少個簇。

當信息在數(shù)據(jù)點之間發(fā)送時，會找到稱為樣本的數(shù)據(jù)集，它們代表簇。

在數(shù)據(jù)點相互傳遞消息并就哪個數(shù)據(jù)點最能代表簇達成共識后，就會找到一個范例。

當我們不確定期望有多少簇時，例如在計算機視覺問題中，這是一個很好的算法。具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from matplotlib import pyplot from sklearn.datasets import make_classification from sklearn.cluster import AffinityPropagation# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model model = AffinityPropagation(damping=0.7)# train the model model.fit(training_data)# assign each data point to a cluster result = model.predict(training_data)# get all of the unique clusters clusters = unique(result)# plot the clusters for cluster in clusters:# get data points that fall in this clusterindex = where(result == cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the plot pyplot.show()

4.7 Mean-Shift

這是另一種對處理圖像和計算機視覺處理特別有用的算法。

Mean-shift 類似于 BIRCH 算法，因為它也可以在沒有設置初始簇數(shù)的情況下找到簇。

這是一種層次聚類算法，但缺點是在處理大型數(shù)據(jù)集時無法很好地擴展。

它通過迭代所有數(shù)據(jù)點并將它們移向pattern來工作。本文中的pattern是一個區(qū)域中數(shù)據(jù)點的高密度區(qū)域。

這就是為什么我們可能會聽到將此算法稱為模式搜索算法的原因。它將對每個數(shù)據(jù)點進行此迭代過程，并將它們移動到更靠近其他數(shù)據(jù)點的位置，直到所有數(shù)據(jù)點都已分配給一個簇。具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from matplotlib import pyplot from sklearn.datasets import make_classification from sklearn.cluster import MeanShift# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model mean_model = MeanShift()# assign each data point to a cluster mean_result = mean_model.fit_predict(training_data)# get all of the unique clusters mean_clusters = unique(mean_result)# plot Mean-Shift the clusters for mean_cluster in mean_clusters:# get data points that fall in this clusterindex = where(mean_result == mean_cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the Mean-Shift plot pyplot.show()

4.8 OPTICS

OPTICS 代表用于識別聚類結構的排序點。它是一種類似于 DBSCAN 的基于密度的算法，但它更好，因為它可以在密度不同的數(shù)據(jù)中找到有意義的聚類。它通過對數(shù)據(jù)點進行排序來實現(xiàn)這一點，以便最近的點是排序中的鄰居。

這使得檢測不同密度的簇變得更加容易。OPTICS 算法只對每個數(shù)據(jù)點處理一次，類似于 DBSCAN（盡管它運行速度比 DBSCAN 慢）。還為每個數(shù)據(jù)點存儲了一個特殊的距離，指示該點屬于特定的簇。

具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from matplotlib import pyplot from sklearn.datasets import make_classification from sklearn.cluster import OPTICS# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model optics_model = OPTICS(eps=0.75, min_samples=10)# assign each data point to a cluster optics_result = optics_model.fit_predict(training_data)# get all of the unique clusters optics_clusters = unique(optics_clusters)# plot OPTICS the clusters for optics_cluster in optics_clusters:# get data points that fall in this clusterindex = where(optics_result == optics_cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the OPTICS plot pyplot.show()

4.9 Agglomerative clustering

這是最常見的層次聚類算法。它用于根據(jù)彼此之間的相似程度將對象分組到簇中。

這也是一種自下而上的聚類方式，其中每個數(shù)據(jù)點都分配給自己的簇。然后這些簇連接在一起。

在每次迭代中，合并相似的簇，直到所有數(shù)據(jù)點都屬于一個大根簇。

凝聚聚類最擅長尋找小簇。最終結果看起來像一個樹狀圖，以便我們可以在算法完成時輕松地可視化簇。

具體實現(xiàn)見如下代碼。

from numpy import unique from numpy import where from matplotlib import pyplot from sklearn.datasets import make_classification from sklearn.cluster import AgglomerativeClustering# initialize the data set we'll work with training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4 )# define the model agglomerative_model = AgglomerativeClustering(n_clusters=2)# assign each data point to a cluster agglomerative_result = agglomerative_model.fit_predict(training_data)# get all of the unique clusters agglomerative_clusters = unique(agglomerative_result)# plot the clusters for agglomerative_cluster in agglomerative_clusters:# get data points that fall in this clusterindex = where(agglomerative_result == agglomerative_cluster)# make the plotpyplot.scatter(training_data[index, 0], training_data[index, 1])# show the Agglomerative Hierarchy plot pyplot.show()

4.10 Spectral clustering

譜聚類演化于圖論，此后由于其表現(xiàn)出優(yōu)秀的性能被廣泛應用于聚類分析中，對比其他無監(jiān)督聚類（如kmeans），spectral clustering的優(yōu)點主要有以下：

1.過程對數(shù)據(jù)結構并沒有太多的假設要求，如kmeans則要求數(shù)據(jù)為凸集。
2.可以通過構造稀疏similarity graph，使得對于更大的數(shù)據(jù)集表現(xiàn)出明顯優(yōu)于其他算法的計算速度。
3.由于spectral clustering是對圖切割處理，不會存在像kmesns聚類時將離散的小簇聚合在一起的情況。
4.無需像GMM一樣對數(shù)據(jù)的概率分布做假設。from numpy import unique from numpy import where from sklearn.datasets import make_classification from sklearn.cluster import SpectralClustering from matplotlib import pyplot # define dataset training_data, _ = make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)# define the model model = SpectralClustering(n_clusters=2)# fit model and predict clusters spectral_result = model.fit_predict(training_data)# retrieve unique clusters clusters = unique(spectral_result)# create scatter plot for samples from each cluster for cluster in clusters:# get row indexes for samples with this clusterindex = where(spectral_result == cluster)# create scatter of these samplespyplot.scatter(training_data[index, 0], training_data[index, 1])# show the plot pyplot.show()

4.11 其他聚類算法

我們已經介紹了10種頂級聚類算法，但還有更多可用的算法。有一些經過專門調整的聚類算法可以快速準確地處理特定的數(shù)據(jù)。

還有另一種與Agglomerative方法相反的分層算法。它從自上而下的簇策略開始。所以它將從一個大的根簇開始，然后從那里分解出各個小簇。

這被稱為Divisive Hierarchical聚類算法。有研究表明，這會創(chuàng)建比凝聚聚類更準確的層次結構，但它要復雜得多。

5.其他想法

需要注意的是，聚類算法需要考慮尺度問題。我們的數(shù)據(jù)集可能有數(shù)百萬個數(shù)據(jù)點，并且由于聚類算法通過計算所有數(shù)據(jù)點對之間的相似性來工作，因此我們最終可能會得到一個無法很好擴展的算法，有必要對聚類的數(shù)據(jù)集進行尺度或規(guī)模上的處理。

6. 結論

聚類算法是從舊數(shù)據(jù)中學習新事物的好方法。有時使用者會對得到的結果簇感到驚訝，它可能會幫助使用者理解問題。

將聚類用于無監(jiān)督學習的最酷的事情之一是可以在監(jiān)督學習問題中使用聚類的結果作為標記值。

簇可能是我們在完全不同的數(shù)據(jù)集上使用的新功能！我們幾乎可以對任何無監(jiān)督機器學習問題使用聚類，但前提是請確保我們知道如何分析結果的準確性。

總結

以上是生活随笔為你收集整理的机器学习中的聚类算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。