文章目錄

• 一、 基于劃分的聚類方法
• 二、 K-Means 算法 簡介
• 三、 K-Means 算法 步驟
• 四、 K-Means 方法的評(píng)分函數(shù)
• 五、 K-Means 算法 圖示

一、 基于劃分的聚類方法

---

1 . 基于劃分的聚類方法 : 又叫 基于分區(qū)的聚類方法 , 或 基于距離的聚類方法 ;

① 概念 : 給定數(shù)據(jù)集有 $n$ 個(gè)樣本 , 在滿足樣本間距離的前提下 , 最少將其分成 $k$ 個(gè)聚類 ;

② 參數(shù) $k$ 說明 : 表示聚類分組的個(gè)數(shù) , 該值需要在聚類算法開始執(zhí)行前 , 需要指定好 ,

2 . 典型的基于劃分的聚類方法 : K-Means 方法 ( K 均值方法 ) , 聚類由分組樣本中的平均均值點(diǎn)表示 ; K-medoids 方法 ( K 中心點(diǎn)方法 ) , 聚類由分組樣本中的某個(gè)樣本表示 ;

3 . 硬聚類 : K-Means 是最基礎(chǔ)的聚類算法 , 是基于劃分的聚類方法 , 屬于硬聚類 ; 在這個(gè)基礎(chǔ)之上 , GMM 高斯混合模型 , 是基于模型的聚類方法 , 屬于軟聚類 ;

二、 K-Means 算法 簡介

---

K-Means 簡介 :

① 給定條件 : 給定數(shù)據(jù)集 $X$ , 該數(shù)據(jù)集有 $n$ 個(gè)樣本 ;

② 目的 : 將其分成 $K$ 個(gè)聚類 ;

③ 聚類分組要求 : 每個(gè)聚類分組中 , 所有的數(shù)據(jù)樣本 , 與該分組的中心點(diǎn)的距離之和最小 ; 將每個(gè)樣本的與中心點(diǎn)距離計(jì)算出來 , 分組中的這些距離累加 , $K$ 個(gè)分組的距離之和 也累加起來 , 總的距離最小 ;

三、 K-Means 算法 步驟

---

K-Means 算法 步驟 : 給定數(shù)據(jù)集 $X$ , 該數(shù)據(jù)集有 $n$ 個(gè)樣本 , 將其分成 $K$ 個(gè)聚類 ;

① 中心點(diǎn)初始化 : 為 $K$ 個(gè)聚類分組選擇初始的中心點(diǎn) , 這些中心點(diǎn)稱為 Means ; 可以依據(jù)經(jīng)驗(yàn) , 也可以隨意選擇 ;

② 計(jì)算距離 : 計(jì)算 $n$ 個(gè)對(duì)象與 $K$ 個(gè)中心點(diǎn) 的距離 ; ( 共計(jì)算 $n\times K$ 次 )

③ 聚類分組 : 每個(gè)對(duì)象與 $K$ 個(gè)中心點(diǎn)的值已計(jì)算出 , 將每個(gè)對(duì)象分配給距離其最近的中心點(diǎn)對(duì)應(yīng)的聚類 ;

④ 計(jì)算中心點(diǎn) : 根據(jù)聚類分組中的樣本 , 計(jì)算每個(gè)聚類的中心點(diǎn) ;

⑤ 迭代直至收斂 : 迭代執(zhí)行 ② ③ ④ 步驟 , 直到 聚類算法收斂 , 即 中心點(diǎn) 和 分組 經(jīng)過多少次迭代都不再改變 , 也就是本次計(jì)算的中心點(diǎn)與上一次的中心點(diǎn)一樣 ;

四、 K-Means 方法的評(píng)分函數(shù)

---

1 . K-Means 方法的評(píng)分函數(shù) : 該評(píng)分函數(shù)本質(zhì)是 誤差平方和 ;

$$\sum _{m=1}^k\sum _{t_{mi}\in K_m}(C_m?t_{mi}{)}^2$$

2 . 公式元素說明 :

$C_m$ 表示中心點(diǎn) ;

$t_{mi}$ 表示每個(gè)數(shù)據(jù)對(duì)象 ;

$C_m?t_{mi}$ 表示每個(gè)對(duì)象到中心的距離 ;

$K_m$ 表示第 $m$ 個(gè)聚類中的點(diǎn)的個(gè)數(shù) ;

${\sum }_{t_{mi}\in K_m}$ 表示單個(gè)聚類中點(diǎn)的個(gè)數(shù)的累加和

$k$ 表示聚類 ( 分組 ) 的個(gè)數(shù)

${\sum }_{m=1}^k$ 表示 $k$ 個(gè)聚類的累加和

3 . 公式 拆解 解析 :

$C_m?t_{mi}$ 計(jì)算每個(gè)元素距離其中心點(diǎn)的距離

$(C_m?t_{mi}{)}^2$ 計(jì)算 每個(gè)元素距離其中心點(diǎn)的距離的平方 , 目的是為了消除符號(hào)干擾

${\sum }_{t_{mi}\in K_m}(C_m?t_{mi}{)}^2$ 將一個(gè)聚類分組中的 [ ( 每個(gè)元素距離其中心點(diǎn)的距離 ) 的平方 ] 相加 ;

${\sum }_{m=1}^k{\sum }_{t_{mi}\in K_m}(C_m?t_{mi}{)}^2$ 整體公式就是將所有的聚類分組的 { [ ( 每個(gè)元素距離其中心點(diǎn)的距離 ) 的平方 ] 累加和 } 再次累加

五、 K-Means 算法 圖示

---

1 . 已知條件 : 下面的點(diǎn)是二維平面上的樣本 , 有 $5$ 個(gè)點(diǎn) $\{X_1,X_2,X_3,X_4,X_5\}$ , 將其分成 $2$ 個(gè)聚類 ;

2 . 首先設(shè)置初始中心點(diǎn) : 中心點(diǎn)可以選擇已有的樣本作為中心點(diǎn) ( 稱為 : 實(shí)點(diǎn) ) , 也可以在空白處設(shè)置中心點(diǎn) ( 稱為 : 虛點(diǎn) ) ;

這里在空白處任意設(shè)置 $2$ 個(gè)中心點(diǎn) $\{K_1,K_2\}$ ;

3 . 計(jì)算距離 : 計(jì)算 $5$ 個(gè)點(diǎn)到 $2$ 個(gè)中心點(diǎn)的距離 , 每個(gè)點(diǎn)都要計(jì)算 $2$ 次 , 共計(jì)算 $10$ 次 ;

距離表示說明 : 下面公式中的 $d(K_1,X_1)$ 指的是 $K_1$ 點(diǎn)到 $X_1$ 點(diǎn)的距離 ;

$d(K_1,X_1)=1816.6$
$d(K_2,X_1)=14056.5$

$X_1$ 點(diǎn)分到 $K_1$ 對(duì)應(yīng)的聚類分組中 ;

$d(K_1,X_2)=3646.6$
$d(K_2,X_2)=1405.3$

$X_2$ 點(diǎn)分到 $K_2$ 對(duì)應(yīng)的聚類分組中 ;

$d(K_1,X_3)=1818.2$
$d(K_2,X_3)=5101.3$

$X_3$ 點(diǎn)分到 $K_1$ 對(duì)應(yīng)的聚類分組中 ;

$d(K_1,X_4)=12940.3$
$d(K_2,X_4)=7859.2$

$X_4$ 點(diǎn)分到 $K_2$ 對(duì)應(yīng)的聚類分組中 ;

$d(K_1,X_5)=11775.1$
$d(K_2,X_5)=6539.1$

$X_5$ 點(diǎn)分到 $K_2$ 對(duì)應(yīng)的聚類分組中 ;

4 . 初步分組 : 為每個(gè)樣本分組 , 將 樣本點(diǎn) $X_i$ 分到最近的中心點(diǎn)對(duì)應(yīng)的聚類分組中 , 下面是分組結(jié)果 :

$X_1,X_3$ 分組到 $K_1$ 中心點(diǎn)對(duì)應(yīng)的分組 , $X_2,X_5,X_4$ 分到 $K_2$ 對(duì)應(yīng)的分組 ;

當(dāng)前聚類分組 : $\{X_1,X_3\}$ , $\{X_2,X_5,X_4\}$ ;

5 . 重新計(jì)算中心點(diǎn)位置 : 根據(jù)上述聚類分組 , 確定新的中心點(diǎn)位置 , 如下圖 :

6 . 重新計(jì)算中心點(diǎn)位置 : 圖中的 $X_2$ 的聚類分組 , 出現(xiàn)了改變 , $X_2$ 樣本的距離 , 明顯距離 $K_1$ 點(diǎn)比較近 ;

距離表示說明 : 下面公式中的 $d(K_1,X_1)$ 指的是 $K_1$ 點(diǎn)到 $X_1$ 點(diǎn)的距離 ;

$d(K_1,X_2)=2696.3$
$d(K_2,X_2)=4204.1$

$X_2$ 點(diǎn)分到 $K_1$ 對(duì)應(yīng)的聚類分組中 ;

7 . 重新分組 : $X_2$ 點(diǎn)分到 $K_1$ 對(duì)應(yīng)的聚類分組中 ;

當(dāng)前聚類分組 : $\{X_1,X_2,X_3\}$ , $\{X_5,X_4\}$ ;

8 . 繼續(xù)計(jì)算中心點(diǎn)位置 : 此時(shí)該中心點(diǎn)就比較穩(wěn)定了 , 下一次計(jì)算 , 仍然是這個(gè)中心點(diǎn) , 因此 聚類收斂 , 此時(shí)的分組就是最終的聚類分組 ;

最終聚類分組 : $\{X_1,X_2,X_3\}$ , $\{X_5,X_4\}$ ;

最終中心點(diǎn)如下圖所示 , $K_1$ 在三角形中心 , $K_2$ 在兩點(diǎn)中心點(diǎn) ;

總結(jié)

以上是生活随笔為你收集整理的【数据挖掘】基于划分的聚类方法 ( K-Means 算法简介 | K-Means 算法步骤 | K-Means 图示 )的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。