基于原型的聚類方法

文章目錄

• • 一、概念
  • 二、K-Means
  • • 2.1 算法流程
    • 2.2 超參數(shù)
    • 2.3 特性
    • 2.4 解析
    • 2.5 K-Means++
    • 2.6 Python實現(xiàn)
  • 三、K-Mediods
  • • 3.1 概念
    • 3.2 算法對比
  • 四、特性

一、概念

??原型”是指樣本空間中具有代表性的點。

??原型聚類假設(shè)聚類結(jié)構(gòu)可以通過一組原型刻畫，這一方法在實際聚類任務(wù)中最為常用，理解起來也較簡單；通常算法先對原型進(jìn)行初始化，然后對原型進(jìn)行迭代更新求解。采用不同的原型表示，不同的求解方式，即會產(chǎn)生不同的聚類算法。最經(jīng)典的原型聚類算法即：

• $K?Means$ 聚類算法：基于各個樣本點與各個聚集簇的中心點距離遠(yuǎn)近，進(jìn)行劃分的聚類算法。
• $K?Mediods$ 算法：在 $K?Means$ 基礎(chǔ)上改進(jìn)的算法。

二、K-Means

2.1 算法流程

??算法思想

• 輸入聚類個數(shù) $k$ ，以及包含 $n$ 個數(shù)據(jù)對象的數(shù)據(jù)集，輸出標(biāo)準(zhǔn)的 $k$ 個聚類的一種算法。
• 然后將 $n$ 個數(shù)據(jù)對象劃分為 $k$ 個聚類，而最終所獲得的聚類滿足:
  • 同一聚類中的對象相似度較高；
  • 而不同聚類中的對象相似度較小。

??$K$ 均值聚類的核心目標(biāo)是將給定的數(shù)據(jù)集劃分成 $K$ 個簇，并給出每個數(shù)據(jù)對應(yīng)的簇中心點。算法的具體步驟描述如下：

數(shù)據(jù)預(yù)處理，如歸一化、離群點處理等；

隨機選取 $K$ 個簇中心，記為 ${\mu }_1^0,{\mu }_2^0,\dots ,{\mu }_K^0$ ；

定義代價函數(shù)：$J(c,\mu )=\underset{\mu }{\min }\underset{c}{\min }\sum _{i=1}^M\Vert x_i?{\mu }_{ci}\Vert$;

令 $t=0,1,2,\dots$ 為迭代步數(shù)，重復(fù)下面過程直到 $J$ 收斂：

• 對于每一個樣本 $x_i$，將其分配到距離最近的簇
  $$c_i^t\leftarrow {\mathrm{argmin}}_k\Vert x_i?{\mu }_k^t{\Vert }^2$$

• 對于每一個類簇 $k$，重新計算該類簇的中心
  $${\mu }_k^{t+1}\leftarrow {\mathrm{argmin}}_{\mu }\sum _{i:c_i^t=k}\Vert x_i?\mu {\Vert }^2$$

??$K$ 均值算法在迭代時，假設(shè)當(dāng)前 $J$ 沒有達(dá)到最小值，那么首先固定簇中心 $\{{\mu }_k\}$，調(diào)整每個樣例 $x_i$ 所屬的類別 $c_i$ 來讓 $J$ 函數(shù)減少；然后固定 $\{c_i\}$，調(diào)整簇中心 $\{{\mu }_k\}$ 使 $J$ 減少，這兩個過程交替循環(huán)，$J$ 單調(diào)遞減；當(dāng) $J$ 遞減到最小值時，$\{{\mu }_k\}$ 和 $\{c_j\}$ 也同時收斂。

??物理意義來說：質(zhì)心就是質(zhì)量中心，重心就是重力受力的集合點，形心就是幾何形狀的中心。質(zhì)心一般和重心位置相同，看受重力情況來確定，形心則是一般為規(guī)則圖形，如果不規(guī)則，一般算不了。他們的區(qū)別：當(dāng)質(zhì)量均勻，形狀規(guī)則的物體，三個都在一點，若質(zhì)量不均勻，那么形心和那兩個是分開的。

2.2 超參數(shù)

??$K?Means$ 算法首先選擇 $K$ 個初始質(zhì)心，其中 $K$ 是用戶指定的參數(shù)，即所期望的簇的個數(shù)。這樣做的前提是已經(jīng)知道數(shù)據(jù)集中包含多少個簇，但很多情況下，我們并不知道數(shù)據(jù)的分布情況。如何有效地確定$K$ 值，提供以下幾種方法：

• 從實際問題出發(fā)，人工指定比較合理的K值，通過多次隨機初始化聚類中心選取比較滿意的結(jié)果
• 均方根：假設(shè)我們有 $m$ 個樣本，該方法認(rèn)為 $K=\sqrt{m/2}$
• 枚舉法：用不同的 $K$ 值進(jìn)行聚類
  • 分別計算類內(nèi)距離均值和類間距離均值之比，選擇最小的那個$K$ 值
  • 對不同 $K$ 值都產(chǎn)生 $2$ 次聚類，選擇兩次聚類結(jié)果最相似的 $K$ 值
• 手肘法（$Elbow$)、層次聚類法等

??用戶指定的參數(shù)也稱為超參數(shù)，該類參數(shù)無法通過模型對數(shù)據(jù)訓(xùn)練獲得。

??核心指標(biāo)：$SSE(sumofthesquarederrors$，誤差平方和) $SSE$ 是所有樣本的聚類誤差，代表了聚類效果的好壞。

??手肘法：隨著聚類數(shù) $k$ 的增大，樣本劃分會更加精細(xì)，每個簇的聚合程度會逐漸提高，那么誤差平方和 $SSE$ 自然會逐漸變小。當(dāng)k小于真實聚類數(shù)時，由于 $k$ 的增大會大幅增加每個簇的聚合程度，故 $SSE$ 的下降幅度會很大，而當(dāng) $k$ 到達(dá)真實聚類數(shù)時，再增加 $k$ 所得到的聚合程度回報會迅速變小，所以 $SSE$ 的下降幅度會驟減，然后隨著 $k$ 值的繼續(xù)增大而趨于平緩，也就是說 $SSE$ 和 $k$ 的關(guān)系圖是一個手肘的形狀，而這個肘部對應(yīng)的 $k$ 值就是數(shù)據(jù)的真實聚類數(shù)。

2.3 特性

??優(yōu)點

• 簡單、易于理解、運算速度快；
• 對處理大數(shù)據(jù)集，該算法保持可伸縮性和高效性；
• 當(dāng)簇接近高斯分布時，它的效果較好。

??缺點

• 在 $K?Means$ 算法是局部最優(yōu)的，容易受到初始質(zhì)心的影響；
• 在 $K?Means$ 算法中 $K$ 值需要事先給定的，有時候 $K$ 值的選定非常難以估計；
• 在簇的平均值可被定義的情況下才能使用，只能應(yīng)用連續(xù)型數(shù)據(jù)；
• 該算法需要不斷地進(jìn)行樣本分類調(diào)整，不斷地計算調(diào)整后的新的聚類中心，因此當(dāng)數(shù)據(jù)量非常大時，算法的性能（時間和計算資源）開銷是非常大的；
• 對噪聲和孤立點數(shù)據(jù)敏感。

歐幾里德距離是數(shù)學(xué)加減乘除算出來的距離，因此這就是只能用于連續(xù)型變量的原因。

2.4 解析

• 初始簇心的選擇
  • 有時候會影響最終的聚類結(jié)果，實際操作中，我們一般會選用不同的數(shù)據(jù)作為初始簇心，多次執(zhí)行$K?Means$ 算法；
  • 新質(zhì)心不一定是實際的一個數(shù)據(jù)點。
• $K?Means$ 算法超參數(shù) $K$
  • $K$ 是用戶指定的參數(shù)，即所期望的簇的個數(shù)。$K$ 指定的前提是已知數(shù)據(jù)集中包含多少個簇，但很多情況下，并不知道數(shù)據(jù)的分布情況，需要憑借業(yè)務(wù)專家的經(jīng)驗；
  • 常見做法是多嘗試幾個 $K$ 值，看分成幾類的結(jié)果更好解釋，更符合分析目的等；或者可以把各種 $K$ 值算出的 $SSE$ 做比較，取最小的 $SSE$ 的 $K$ 值。
• $K?Means$ 算法會不會陷入一直選質(zhì)心的過程，永遠(yuǎn)停不下來？
  • 不會。數(shù)學(xué)證明一定會收斂，目標(biāo)函數(shù) $SSE$ 是可收斂的函數(shù)，但數(shù)據(jù)量大時，收斂時間可能較長。

??業(yè)務(wù)專家的作用非常大，主要體現(xiàn)在聚類變量的選擇和對于聚類結(jié)果的解讀：

??比如要對于現(xiàn)有的客戶分群，那么就要根據(jù)最終分群的目的選擇不同的變量來分群，這就需要業(yè)務(wù)專家經(jīng)驗支持。如果要優(yōu)化客戶服務(wù)的渠道，那么就應(yīng)選擇與渠道相關(guān)的數(shù)據(jù)；如果要推廣一個新產(chǎn)品，那就應(yīng)該選用用戶目前的使用行為的數(shù)據(jù)來歸類用戶的興趣。算法是無法做到這一點的

??欠缺經(jīng)驗的分析人員和經(jīng)驗豐富的分析人員對于結(jié)果的解讀會有很大差異。其實不光是聚類分析，所有的分析都不能僅僅依賴統(tǒng)計學(xué)家或者數(shù)據(jù)工程師。

??最小化 $SSE$ 目標(biāo)函數(shù) 誤差平方和函數(shù)（原本含義是擬合數(shù)據(jù)和原始數(shù)據(jù)對應(yīng)點的誤差的平方和）

2.5 K-Means++

??$K?Means$ 與 $K?Means++$：

??不同于 $K?Means$ 算法第一次是隨機選擇 $K$ 個聚類中心，$K?Means++$ 是假設(shè)已經(jīng)選取了 $p$ 個初始聚類中心 $(0<p<K)$，則在選取第 $p+1$ 個聚類中心時：距離當(dāng)前 $p$ 個聚類中心越遠(yuǎn)的點會有更高的概率被選為第 $p+1$ 個聚類中心。只有在選取第一個聚類中心 $(p=1)$ 時是通過隨機的方法。該改進(jìn)方法符合一般的直覺：聚類中心互相之間距離得越遠(yuǎn)越好。這個改進(jìn)直觀簡單，也非常有效。
其他改進(jìn)算法還有：

• $ISODATA$：對于高緯度的數(shù)據(jù)樣本，針對$K$值事先不一定能準(zhǔn)確指定的情況，當(dāng)屬于某個類別的樣本數(shù)過少時把這個類別去除，當(dāng)屬于某個類別的樣本數(shù)過多、分散程度較大時把這個類別分為兩個子類別。

??$KMeans++$ 也是解決解決 $KMeans$ 的初值敏感的問題，它與二分 $K?Means$ 不同的是：在選擇兩個聚類點的時候不是隨機選擇，而是先隨機選擇一個點，第二個選擇距離該點最遠(yuǎn)的點，再進(jìn)行劃分。當(dāng)然，為了避免異常點的存在，第二個點的選擇會選擇距離較遠(yuǎn)的幾個點并進(jìn)行加權(quán)選擇最終的第二個點。

??$K?Means$ ：隨機的選取初始質(zhì)心，但是這樣簇的質(zhì)量常常很差。處理選取初始質(zhì)心問題的一種常用技術(shù)是：多次運行，每次使用一組不同的隨機初始質(zhì)心，然后選取具有最小 $SSE$（誤差的平方和）的簇集。

??$KMeans++$：隨機地選擇第一個點，或取所有點的質(zhì)心作為第一個點。然后，對于每個后繼初始質(zhì)心，選擇離已經(jīng)選取過的初始質(zhì)心最遠(yuǎn)的點。使用這種方法，確保了選擇的初始質(zhì)心不僅是隨機的，而且是散開的。但是，這種方法可能選中離群點。此外，求離當(dāng)前初始質(zhì)心集最遠(yuǎn)的點開銷也非常大。為了克服這個問題，通常該方法可以用于抽樣和篩出離群點后的樣本數(shù)據(jù)上。

2.6 Python實現(xiàn)

import timeimport numpy as np import matplotlib.pyplot as pltfrom sklearn.cluster import MiniBatchKMeans, KMeans from sklearn.metrics.pairwise import pairwise_distances_argmin from sklearn.datasets import make_blobsnp.random.seed(42)batch_size = 45 centers = [[1, 1], [-1, -1], [1, -1]] n_clusters = len(centers) X, labels_true = make_blobs(n_samples=3000, centers=centers, cluster_std=0.7)k_means = KMeans(init="k-means++", n_clusters=3, n_init=10) t0 = time.time() k_means.fit(X) t_batch = time.time() - t0mbk = MiniBatchKMeans(init="k-means++",n_clusters=3,batch_size=batch_size,n_init=10,max_no_improvement=10,verbose=0, ) t0 = time.time() mbk.fit(X) t_mini_batch = time.time() - t0fig = plt.figure(figsize=(8, 3)) fig.subplots_adjust(left=0.02, right=0.98, bottom=0.05, top=0.9) colors = ["#4EACC5", "#FF9C34", "#4E9A06"]k_means_cluster_centers = k_means.cluster_centers_ order = pairwise_distances_argmin(k_means.cluster_centers_, mbk.cluster_centers_) mbk_means_cluster_centers = mbk.cluster_centers_[order]k_means_labels = pairwise_distances_argmin(X, k_means_cluster_centers) mbk_means_labels = pairwise_distances_argmin(X, mbk_means_cluster_centers)ax = fig.add_subplot(1, 3, 1) for k, col in zip(range(n_clusters), colors):my_members = k_means_labels == kcluster_center = k_means_cluster_centers[k]ax.plot(X[my_members, 0], X[my_members, 1], "w", markerfacecolor=col, marker=".")ax.plot(cluster_center[0],cluster_center[1],"o",markerfacecolor=col,markeredgecolor="k",markersize=6,)ax.set_title("KMeans") ax.set_xticks(()) ax.set_yticks(()) plt.text(-3.5, 1.8, "train time: %.2fs\ninertia: %f" % (t_batch, k_means.inertia_))ax = fig.add_subplot(1, 3, 2) for k, col in zip(range(n_clusters), colors):my_members = mbk_means_labels == kcluster_center = mbk_means_cluster_centers[k]ax.plot(X[my_members, 0], X[my_members, 1], "w", markerfacecolor=col, marker=".")ax.plot(cluster_center[0],cluster_center[1],"o",markerfacecolor=col,markeredgecolor="k",markersize=6,) ax.set_title("MiniBatchKMeans") ax.set_xticks(()) ax.set_yticks(()) plt.text(-3.5, 1.8, "train time: %.2fs\ninertia: %f" % (t_mini_batch, mbk.inertia_))different = mbk_means_labels == 4 ax = fig.add_subplot(1, 3, 3)for k in range(n_clusters):different += (k_means_labels == k) != (mbk_means_labels == k)identic = np.logical_not(different) ax.plot(X[identic, 0], X[identic, 1], "w", markerfacecolor="#bbbbbb", marker=".") ax.plot(X[different, 0], X[different, 1], "w", markerfacecolor="m", marker=".") ax.set_title("Difference") ax.set_xticks(()) ax.set_yticks(())plt.show()

三、K-Mediods

3.1 概念

??$K?Mediods$ 是基于原型的另一種聚類算法，也是對 $K?Means$ 算法的一種改進(jìn)。

算法描述

隨機選取一組樣本作為中心點集；

每個中心點對應(yīng)一個簇；

計算各樣本點到各個中心點的距離（如歐氏距離），將樣本點放入距離中心點最短的那個簇中；

計算各簇中，距簇內(nèi)各樣本點距離的絕對誤差最小的點，作為新的中心點；

如果新的中心點集與原中心點集相同，算法終止；如果新的中心點集與原中心點集不完全相同，返回2)。

3.2 算法對比

??$K?Mediods$ 聚類算法原理和 $K?Means$ 大體相似，算法流程基本一致，不同的是:

• 質(zhì)心的計算方式不同

  • $K?Means$ 聚類算法更新聚簇中心的時候直接計算均值，以均值點作為新的中心，可能是樣本點中不存在的點；而 $K?Mediods$更新聚簇中心是計算每一個點到簇內(nèi)其他點的距離之和，選擇距離和最小的點來作為新的聚簇中心，質(zhì)心必須是某些樣本點的值。

• $K?Mediods$ 可以避免數(shù)據(jù)中的異常值帶來的影響。

  • 如一個二維的樣本集劃分的簇是 $\{(1，1)，(1，2)，(2，1)，(1000，1000)\}$，其中 $(1000，1000)$ 是噪聲點。按照 $K?Means$ 算法，該樣本集的質(zhì)心則為 $(502，502)$，但這個新的質(zhì)心并不是該樣本集大多數(shù)正常樣本點圍繞的中心；如果是選擇 $K?Medoids$ 就可以避免這種情況，它會在 $\{(1，1)，(1，2)，(2，1)，(1000，1000)\}$中選出一個樣本點使它到其他所有點的距離之和絕對誤差最小，計算可知一定會在前三個點中選取。

• $K?Mediods$ 聚類算法原理和 $K?Means$ 大體相似，算法流程基本一致，不同的是:

  • 質(zhì)心的計算復(fù)雜度更高：在質(zhì)心的選取上，$K?Means$ 只需要計算每個劃分的簇均值中心點獲得新的質(zhì)心，而 $K?Medoids$ 需要計算每個簇任兩點之間的距離，再對每個距離進(jìn)行比較獲取新的質(zhì)心，計算復(fù)雜度增加，運行速度會較慢；

  • 穩(wěn)定性更高、執(zhí)行速度變慢：對于有異常值的小樣本量數(shù)據(jù)集， $K?Mediods$ 比 $K?Means$ 效果更穩(wěn)定，但是隨著數(shù)據(jù)集規(guī)模增加，$K?Mediods$ 算法的執(zhí)行速度會慢很多；

  • 如果數(shù)據(jù)集本身不存在特別多的異常值，也不需要使用 $K?Mediods$ 替代 $K?Means$ 。

    ??$K?Mediods$ 每次迭代后的質(zhì)點都是從聚類的樣本點中選取，而選取的標(biāo)準(zhǔn)就是當(dāng)該樣本點成為新的質(zhì)點后能提高類簇的聚類質(zhì)量，使得類簇更緊湊。該算法使用絕對誤差標(biāo)準(zhǔn)來定義一個類簇的緊湊程度

四、特性

$K?Means$：

---

優(yōu)點：

簡單，易于理解，運算速度快；

對處理大數(shù)據(jù)集，該算法可保持可伸縮性和高效性；

當(dāng)簇接近高斯分布時，它的效果較好；

缺點：

$K?Means$ 算法是局部最優(yōu)的，容易受到初始質(zhì)心的影響；

在 $K?Means$ 算法中 $K$ 值是需要事先給定的，有時候 $K$ 值非常難以估計；

在簇的平均值可被定義的情況下才能使用，只能應(yīng)用連續(xù)型數(shù)據(jù)；

大數(shù)據(jù)情況下算法的開銷是非常大的；

對噪聲和孤立點數(shù)據(jù)敏感。

---

$K?Medios$：

---

優(yōu)點：

$K?Medios$ 算法具有處理大數(shù)據(jù)集的能力

結(jié)果簇相當(dāng)緊湊，并且簇與簇之間明顯分明；

相比于 $K?Means$ 對噪聲點不敏感；

缺點：

只適用于連續(xù)型數(shù)據(jù)；

只適用于聚類結(jié)果為凸性的數(shù)據(jù)集等；

必須事先確定 $K$ 值；

一般在一個局部最優(yōu)的解后就停止了。

---

區(qū)別：

與$K?Means$ 相比，$K?Medios$ 算法對于噪聲不那么敏感，這樣對于離群點就不會造成劃分的結(jié)果偏差過大，少數(shù)數(shù)據(jù)不會造成重大影響；

$K?Medios$ 由于上述原因被認(rèn)為是對 $K?Means$ 改進(jìn)，但由于中心點的選擇的方式進(jìn)行計算，算法的時間復(fù)雜度也比 $K?Means$ 上升了 $O(n)$。

. 相比于 $K?Means$ 對噪聲點不敏感；

缺點：

只適用于連續(xù)型數(shù)據(jù)；

只適用于聚類結(jié)果為凸性的數(shù)據(jù)集等；

必須事先確定 $K$ 值；

一般在一個局部最優(yōu)的解后就停止了。

---

區(qū)別：

與$K?Means$ 相比，$K?Medios$ 算法對于噪聲不那么敏感，這樣對于離群點就不會造成劃分的結(jié)果偏差過大，少數(shù)數(shù)據(jù)不會造成重大影響；

$K?Medios$ 由于上述原因被認(rèn)為是對 $K?Means$ 改進(jìn)，但由于中心點的選擇的方式進(jìn)行計算，算法的時間復(fù)雜度也比 $K?Means$ 上升了 $O(n)$。

總結(jié)

以上是生活随笔為你收集整理的2.基于原型的聚类方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。