聚類是一種非監(jiān)督學(xué)習(xí)方法

在一個(gè)典型的監(jiān)督學(xué)習(xí)中,我們有一個(gè)有標(biāo)簽的訓(xùn)練集,我們的目標(biāo)是找到能夠區(qū)分正
樣本和負(fù)樣本的決策邊界,在這里的監(jiān)督學(xué)習(xí)中,我們有一系列標(biāo)簽,我們需要據(jù)此擬合一 個(gè)假設(shè)函數(shù)。與此不同的是,在非監(jiān)督學(xué)習(xí)中,我們的數(shù)據(jù)沒有附帶任何標(biāo)簽,我們拿到的 數(shù)據(jù)就是這樣的:

在這里我們有一系列點(diǎn),卻沒有標(biāo)簽。因此,我們的訓(xùn)練集可以寫成只有 x(1),x(2)…..一直 到 x(m)。我們沒有任何標(biāo)簽 y。因此,圖上畫的這些點(diǎn)沒有標(biāo)簽信息。也就是說,在非監(jiān)督 學(xué)習(xí)中,我們需要將一系列無標(biāo)簽的訓(xùn)練數(shù)據(jù),輸入到一個(gè)算法中,然后我們告訴這個(gè)算法, 快去為我們找找這個(gè)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)給定數(shù)據(jù)。我們可能需要某種算法幫助我們尋找一種結(jié) 構(gòu)。圖上的數(shù)據(jù)看起來可以分成兩個(gè)分開的點(diǎn)集(稱為簇),一個(gè)能夠找到我圈出的這些點(diǎn)集的算法,就被稱為聚類算法。

K-均值算法
K-均值是最普及的聚類算法,算法接受一個(gè)未標(biāo)記的數(shù)據(jù)集,然后將數(shù)據(jù)聚類成不同的 組。
K-均值是一個(gè)迭代算法,假設(shè)我們想要將數(shù)據(jù)聚類成 n 個(gè)組,其方法為:

• 首先選擇 K 個(gè)隨機(jī)的點(diǎn),稱為聚類中心(cluster centroids);
• 對(duì)于數(shù)據(jù)集中的每一個(gè)數(shù)據(jù),按照距離 K 個(gè)中心點(diǎn)的距離,將其與距離最近的中心點(diǎn)關(guān)
  聯(lián)起來,與同一個(gè)中心點(diǎn)關(guān)聯(lián)的所有點(diǎn)聚成一類。
• 計(jì)算每一個(gè)組的平均值,將該組所關(guān)聯(lián)的中心點(diǎn)移動(dòng)到平均值的位置。
• 重復(fù)步驟 2-4 直至中心點(diǎn)不再變化。
  

算法分為兩個(gè)步驟,第一個(gè) for 循環(huán)是賦值步驟,即:對(duì)于每一個(gè)樣例 i,計(jì)算其應(yīng)該屬
于的類。第二個(gè) for 循環(huán)是聚類中心的移動(dòng),即:對(duì)于每一個(gè)類 k,重新計(jì)算該類的質(zhì)心。

K-均值算法也可以很便利地用于將數(shù)據(jù)分為許多不同組,即使在沒有非常明顯區(qū)分的組 群的情況下也可以。下圖所示的數(shù)據(jù)集包含身高和體重兩項(xiàng)特征構(gòu)成的,利用 K-均值算法將
數(shù)據(jù)分為三類,用于幫助確定將要生產(chǎn)的 T-恤衫的三種尺寸。

優(yōu)化目標(biāo)

K-均值最小化問題,是要最小化所有的數(shù)據(jù)點(diǎn)與其所關(guān)聯(lián)的聚類中心點(diǎn)之間的距離之和, 因此 K-均值的代價(jià)函數(shù)(又稱畸變函數(shù) Distortion function)為:

隨機(jī)初始化
在運(yùn)行 K-均值算法的之前,我們首先要隨機(jī)初始化所有的聚類中心點(diǎn),下面介紹怎樣 做:
1. 我們應(yīng)該選擇 K< m,即聚類中心點(diǎn)的個(gè)數(shù)要小于所有訓(xùn)練集實(shí)例的數(shù)量
2. 隨機(jī)選擇 K 個(gè)訓(xùn)練實(shí)例,然后令 K 個(gè)聚類中心分別與這 K 個(gè)訓(xùn)練實(shí)例相等

K-均值的一個(gè)問題在于,它有可能會(huì)停留在一個(gè)局部最小值處,而這取決于初始化的情
況。

為了解決這個(gè)問題,我們通常需要多次運(yùn)行 K-均值算法,每一次都重新進(jìn)行隨機(jī)初始 化,最后再比較多次運(yùn)行 K-均值的結(jié)果,選擇代價(jià)函數(shù)最小的結(jié)果。這種方法在 K 較小的時(shí) 候(2–10)還是可行的,但是如果 K 較大,這么做也可能不會(huì)有明顯地改善。

選擇聚類數(shù)
沒有所謂最好的選擇聚類數(shù)的方法,通常是需要根據(jù)不同的問題,人工進(jìn)行選擇的。選
擇的時(shí)候思考我們運(yùn)用 K-均值算法聚類的動(dòng)機(jī)是什么,然后選擇能最好服務(wù)于該目的標(biāo)聚 類數(shù)。

當(dāng)人們?cè)谟懻?選擇聚類數(shù)目的方法時(shí),有一個(gè)可能會(huì)談及的方法叫作“肘部法則”。 關(guān)于“肘部法則”,我們所需要做的是改變 K 值,也就是聚類類別數(shù)目的總數(shù)。我們用一個(gè) 聚類來運(yùn)行 K 均值聚類方法。這就意味著,所有的數(shù)據(jù)都會(huì)分到一個(gè)聚類里,然后計(jì)算成本 函數(shù)或者計(jì)算畸變函數(shù) J。K 代表聚類數(shù)字。

我們可能會(huì)得到一條類似于這樣的曲線。像一個(gè)人的肘部。這就是“肘部法則”所做的, 讓我們來看這樣一個(gè)圖,看起來就好像有一個(gè)很清楚的肘在那兒。好像人的手臂,如果你伸 出你的胳膊,那么這就是你的肩關(guān)節(jié)、肘關(guān)節(jié)、手。這就是“肘部法則”。你會(huì)發(fā)現(xiàn)這種模 式,它的畸變值會(huì)迅速下降,從 1 到 2,從 2 到 3 之后,你會(huì)在 3 的時(shí)候達(dá)到一個(gè)肘點(diǎn)。在 此之后,畸變值就下降的非常慢,看起來就像使用 3 個(gè)聚類來進(jìn)行聚類是正確的,這是因?yàn)?那個(gè)點(diǎn)是曲線的肘點(diǎn),畸變值下降得很快,K 等于 3 之后就下降得很慢,那么我們就選 K 等 于 3。當(dāng)你應(yīng)用“肘部法則”的時(shí)候,如果你得到了一個(gè)像上面這樣的圖,那么這將是一種 用來選擇聚類個(gè)數(shù)的合理方法。

但也有可能不會(huì)有很明顯的結(jié)果，只是平緩的下降，這樣肘部法則就失效了。

我們也可以通過商業(yè)上的考慮來決定分類數(shù)
例如,我們的 T-恤制造例子中,我們要將用戶按照身材聚類,我們可以分成 3 個(gè)尺寸 S,M,L 也可以分成 5 個(gè)尺寸 XS,S,M,L,XL,這樣的選擇是建立在回答“聚類后我們制造的 T-恤 是否能較好地適合我們的客戶”這個(gè)問題的基礎(chǔ)上作出的。

總結(jié)

以上是生活随笔為你收集整理的聚类算法学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。